- 博客(25)
- 收藏
- 关注
RSS订阅原创 内网环境下微信扫码登录小结
一、需求：网站需要接入微信扫码登录，但此网站仅能在内网环境下访问，仅网站服务器可以连接微信外网二、遇到的问题：1、图片需要联网：参考网页：微信网页扫码登录按照上述网站上的指南接入，在可访问外网的情况下可以使用，但是由于二维码的图片是需要浏览器从微信的服务器中获取的，在内网情况下无法拿到图片解决方案：可以将二维码图片爬取过来，放入登录页面的标签中首先访问网站：https://open.weixin.qq.com/connect/qrconnect?appid=APPID&red
2020-12-22 15:19:23
5354
2
原创 跨项目绕过权限的一种解决方案记录
背景：最近遇到一个问题，有一个WEB项目是java项目，另一个WEB项目是thinkphp项目两个项目都有各自的账号体系将thinkphp项目作为java项目的子系统，要访问thinkphp项目，只能从java项目中跳转过去希望得到的效果是：使用Java项目的账号体系和权限控制，如果要跳转到php网站 必须在java项目中已经登录，且直接跳转到thinkphp项目的首页不用再登陆了，php项目的登录界面入口屏蔽，如果登陆超时，直接回到java项目的登陆首页遇到的问题：php项目中登录需要记录se
2020-09-09 15:25:40
314
原创 windows下nginx部署thinkphp项目步骤总结
环境准备nginx下载并解压（windows版本下载压缩包直接解压即可）版本： nginx-1.12.2下载地址：http://nginx.org/en/download.htmlphp下载并解压（下载压缩包直接解压即可）版本：php-5.6.40-Win32-VC11-x64下载地址：https://windows.php.net/downloads/releases/archives/mysql下载（下载windows安装包并安装）版本：mysql-5.5.60-winx64
2020-09-09 15:06:02
1531
原创 大数据环境安装汇总
1.安装centos6.4到vmware 用户名为hadoop 2.添加hadooop到sudo用户组 su - 切换到root中 visudo 添加 hadoop ALL=(ALL) ALL 3.修改主机名： sudo vim /etc/sysconfig/network sudo vim /etc/hosts sudo hostname your_user...
2018-05-19 16:50:13
1136
原创 Gluster简单加密xlator rot-13模块的测试
最近在学习GlusterFs 的xlator相关，正好源码中有个最简单rot-13加密的模块，于是进行了简单的测试，看是否能够进行内容的加密写入和解密读出。 1、rot-13介绍ROT13（回转13位，rotateby13places，有时中间加了个减号称作ROT-13）是一种简易的置换暗码 。ROT13是它自己本身的逆反；也就是说，要还原ROT13，套用加密同样的算法即可得，故同样的操作可用再
2017-11-27 15:08:24
765
1
原创 Gluster添加自定义简单xlator的步骤
1、状况说明：已有的gluster集群由三台机器组成，分别为： gfsmaster 172.29.41.205 gfsslave1 172.29.41.204 gfsslave2 172.29.41.203 用于测试gluster挂载的客户端 gfsclient 172.29.41.206 挂载目录为 /opt/gfsmount
2017-11-21 15:07:48
719
原创 spark2.1.0安装步骤
0 机器分配 IP host 角色172.29.41.153 master Spark master 172.29.41.154 slave1 Spark slave172.29.41.155 slave2 Spark slave 1、安装scala(2.10.6支持java7\java6 2.12.*只支持java8以上) sudo
2017-09-16 10:38:37
538
原创 mysql主从复制的实现
1、环境：两台主机： master：172.29.41.211 cdhmaser slave: 172.29.41.237 cdhslave1 mysql 版本：5.1.73 linux 版本 ：Centos6 2、安装mysql在两台主机上都运行 yum install -y mysql-server mysql mysql-devel 安装完成后 mysql的配置
2017-08-23 21:50:40
305
原创 Redis集群安装
谨以此文记录搭建redis集群的过程和问题记录 1、角色划分：三台机器cdhmaster(172.29.41.211) 、cdhslave1(172.29.41.237)、cdhslave2(172.29.41.238) 这里建立6个redis节点其中三个为主节点三个位从节点 对应的ip与端口如下： Master: cdhmaster(172.29.41.211) :7000
2017-08-20 23:31:25
258
原创 centos6.4下CDH5.7.1集群的安装
1、安装前的准备：集群规划： 172.29.41.236 cdhmaster centos6.4 172.29.41.237 cdhslave1 centos6.4 172.29.41.238 cdhslave2 centos6.4 vim /etc/hosts 添加名字与ip的映射 vi
2017-07-23 14:50:06
338
原创 centos7下glusterFs 分布式文件系统环境搭建
1、GlusterFS简介：GlusterFS是一个开源的分布式文件系统 相关术语如下： - Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’ - Client: 挂载了GFS卷的设备 - Extended Attributes:xattr是一个文件系统的特性，其支持用户或程序关联文件/目录和元数据
2017-07-15 13:24:14
5902
3
原创 storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
1、安装Zookeeper由于这两者都需要Zookeeper的支持，因此需要安装zookeeper集群，然后用zkServer.sh start启动集群 2、解压storm安装包在master机器上解压storm 1.1.0-tar.gz到/usr/local下 sudo tar -zxvf apache-storm-1.1.0-tar.gz -C /usr/local 3、更改文
2017-06-28 10:08:46
617
原创 ubuntu下hive2.1.1部署安装
1、安装mysqlsudo apt-get install mysql-server 2、添加远程控制授权GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION mysql>FLUSH PRIVILEGES 3、创建Hive数据库create database hive; 4、解压
2017-06-19 21:03:45
409
原创 hadoop yarn的job提交流程源码分析
yarn是hadoop 2.x 版本引进的作业调度框架，由NodeManager和ResourceManager组成。可以进行作业的提交和管理。现在通过一个简单的作业提交进行源码分析。 1、job提交流程图： 2、job提交源码流程： 3、源代码分析：job.waitForCompletion(true)： 这个是作业提交的入口，返回了作业是否完成的状态 。可以看出主要是调用了su
2017-06-15 10:55:01
1493
原创 hadoop 打开文件输入流 源码分析
* 在hadoop中获取了filesystem之后，便可以通过这个客户端进行相关的文件操作。文件操作涉及到分布式文件系统文件流得使用，现在通过一个简单的下载代码实例进行文件流打开方法即filesystem.open的源码分析* 1、download()方法： /** * 下载方法，用输入流的形式 * @throws IOException */ publ
2017-06-08 19:00:55
477
原创 hadoop FileSystem源码分析
FileSystem是Hadoop下一个抽象的文件系统，其有许多具体的实现类，如hdfs对应的分布式文件系统DistributedFileSystem、FTP对应的FTPFileSystem,以及本地文件系统对应的LocalFileSystem等。现在通过一个简单的文件系统初始化的代码分析构建FileSystem的源码。*1、简单的fs初始化代码： public static void in
2017-06-07 16:24:28
506
原创 Ubuntu 16.04桌面版LAMP环境搭建
本次环境搭建是基于ubuntu 16.04桌面版。apt源的更换可自己另找教程（可以换成阿里源）。LAMP指的是linux、apache、mysql、php四个开发常用的环境。现在开始搭建LAMP 1.安装Apachesudo apt-get install apache2 测试：在浏览器中访问本机，是否出现apache的页面 查看状态： service apache2 statu
2017-05-22 17:34:59
1276
原创 Ubuntu 16.04 各种ide的安装
1.前期准备：jdk eclipse64位安装包 phpstorm tar.gz安装包 pycharm tar.gz安装包 inteliIj tar.gz安装包 2.java环境安装将jdk解压到/opt/java中 sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/ sudo mv ./jdk-8u121
2017-05-22 16:50:16
5402
原创 hbase Shell命令练习
1、创建表语法：create ‘表名’ ,’列簇名’,’列簇名’,….’列簇名’ 举例： create ‘stu’,’bas’ //只有一个列簇名为bas 2、检测表是否存在语法： exists ‘表名’ or list 举例： exists ‘stu’ 3、插入记录语法： put ‘表名’,’行键’,’列名’,’值’ （列名为列簇名:列名） 举例：put ‘s
2017-05-08 15:38:43
676
原创 hadoop2.7.3下Zookeeper与Hbase的安装
1、准备hadoop2.7.3集群（本例采用一主二从的构造） zookeeper-3.4.8.tar.gz hbase-1.2.5-bin.tar.gz 2、安装zookeeper集群在master下解压安装包到/usr/local目录下 进行改名和权限更改 进入zookeeper的conf目录下 ，复制一份zoo_sample.cfg用于zookeeper的配置文件 编辑zoo.
2017-05-05 19:03:44
4322
原创 hadoop2.7.3 eclipse环境搭建
在windows下用eclipse编写map-reduce程序后可以直接提交到Hadoop集群上运行。现在进行相关环境的搭建 1、前期准备hadoop集群（可以是虚拟机集群） hadoop2.7.3源码以及winutils(windows下必备工具) 将其解压到源码的bin目录下，并将hadoop.dl拷贝到system32目录下 设置hadoop环境变量 将had
2017-04-30 20:30:17
1193
1
原创 虚拟机下ubuntu hadoop集群搭建
1、环境准备：Vmvare12、Ubuntu 14.0.4桌面版、hadoop 2.7.3 2、安装SSH装完第一台虚拟机master之后，首先安装openssh-server 尝试登陆 ssh localhost 进行免密登陆授权 3、安装JDK安装openjdk7 vim ~/.bashrc 进行环境变量的配置（配置完成可以进行检验） 4、安装hadoop解压had
2017-04-29 16:59:51
794
原创 HDFS文件系统学习
1、HDFS简介：HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。是根据google发表的论文GFS（Google File System）Google 文件系统翻版的。是一个主/从（Master/Slave）架构的系统，它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。SecondaryN
2017-04-28 12:43:11
502
原创 FourInOne初识
1、概述FourInOne（中文名字“四不像”）是一个四合一分布式计算框架 。将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内，对复杂的分布式计算应用进行了大量简化和归纳。在分布式协同方面，实现了Zookeeper所有的功能，简化Zookeeper的树型结构，用domain/node两层结构取代，简化Watch回调多线程等待编程模型，用更直观的容易保证业务逻
2017-04-18 17:01:34
1404
原创 WebMagic
今天学习一个酷炫的封装性很好的爬虫框架WebMagic 1、总体架构WebMagic总体架构图如下： 四个组件： * Downloader:负责从网络上下载页面，获取到初始的Html文本，供后续处理。默认使用Apache HttpClient作为下载工具。 PageProcessor:负责解析页面，抽取有用的信息，发现新链接。WebMagic使用Jsoup作为HTML解析工具，并基
2017-04-17 17:19:54
683
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人