- 博客(25)
- 收藏
- 关注
原创 内网环境下微信扫码登录小结
一、需求:网站需要接入微信扫码登录,但此网站仅能在内网环境下访问,仅网站服务器可以连接微信外网二、遇到的问题:1、图片需要联网:参考网页:微信网页扫码登录按照上述网站上的指南接入,在可访问外网的情况下可以使用,但是由于二维码的图片是需要浏览器从微信的服务器中获取的,在内网情况下无法拿到图片解决方案:可以将二维码图片爬取过来,放入登录页面的标签中首先访问网站:https://open.weixin.qq.com/connect/qrconnect?appid=APPID&red
2020-12-22 15:19:23 6219 2
原创 跨项目绕过权限的一种解决方案记录
背景:最近遇到一个问题,有一个WEB项目是java项目,另一个WEB项目是thinkphp项目两个项目都有各自的账号体系将thinkphp项目作为java项目的子系统,要访问thinkphp项目,只能从java项目中跳转过去希望得到的效果是:使用Java项目的账号体系和权限控制,如果要跳转到php网站 必须在java项目中已经登录,且直接跳转到thinkphp项目的首页不用再登陆了,php项目的登录界面入口屏蔽,如果登陆超时,直接回到java项目的登陆首页遇到的问题:php项目中登录需要记录se
2020-09-09 15:25:40 342
原创 windows下nginx部署thinkphp项目步骤总结
环境准备nginx下载并解压(windows版本下载压缩包直接解压即可)版本: nginx-1.12.2下载地址:http://nginx.org/en/download.htmlphp下载并解压(下载压缩包直接解压即可)版本:php-5.6.40-Win32-VC11-x64下载地址:https://windows.php.net/downloads/releases/archives/mysql下载(下载windows安装包并安装)版本:mysql-5.5.60-winx64
2020-09-09 15:06:02 1652
原创 大数据环境安装汇总
1.安装centos6.4到vmware 用户名为hadoop 2.添加hadooop到sudo用户组 su - 切换到root中 visudo 添加 hadoop ALL=(ALL) ALL 3.修改主机名: sudo vim /etc/sysconfig/network sudo vim /etc/hosts sudo hostname your_user...
2018-05-19 16:50:13 1166
原创 Gluster简单加密xlator rot-13模块的测试
最近在学习GlusterFs 的xlator相关,正好源码中有个最简单rot-13加密的模块,于是进行了简单的测试,看是否能够进行内容的加密写入和解密读出。 1、rot-13介绍ROT13(回转13位,rotateby13places,有时中间加了个减号称作ROT-13)是一种简易的置换暗码 。ROT13是它自己本身的逆反;也就是说,要还原ROT13,套用加密同样的算法即可得,故同样的操作可用再
2017-11-27 15:08:24 816 1
原创 Gluster添加自定义简单xlator的步骤
1、状况说明:已有的gluster集群由三台机器组成,分别为: gfsmaster 172.29.41.205 gfsslave1 172.29.41.204 gfsslave2 172.29.41.203 用于测试gluster挂载的客户端 gfsclient 172.29.41.206 挂载目录为 /opt/gfsmount
2017-11-21 15:07:48 760
原创 spark2.1.0安装步骤
0 机器分配 IP host 角色172.29.41.153 master Spark master 172.29.41.154 slave1 Spark slave172.29.41.155 slave2 Spark slave 1、安装scala(2.10.6支持java7\java6 2.12.*只支持java8以上) sudo
2017-09-16 10:38:37 567
原创 mysql主从复制的实现
1、环境:两台主机: master:172.29.41.211 cdhmaser slave: 172.29.41.237 cdhslave1 mysql 版本:5.1.73 linux 版本 :Centos6 2、安装mysql在两台主机上都运行 yum install -y mysql-server mysql mysql-devel 安装完成后 mysql的配置
2017-08-23 21:50:40 333
原创 Redis集群安装
谨以此文记录搭建redis集群的过程和问题记录 1、角色划分:三台机器cdhmaster(172.29.41.211) 、cdhslave1(172.29.41.237)、cdhslave2(172.29.41.238) 这里建立6个redis节点其中三个为主节点三个位从节点 对应的ip与端口如下: Master: cdhmaster(172.29.41.211) :7000
2017-08-20 23:31:25 299
原创 centos6.4下CDH5.7.1集群的安装
1、安装前的准备:集群规划: 172.29.41.236 cdhmaster centos6.4 172.29.41.237 cdhslave1 centos6.4 172.29.41.238 cdhslave2 centos6.4 vim /etc/hosts 添加名字与ip的映射 vi
2017-07-23 14:50:06 347
原创 centos7下glusterFs 分布式文件系统环境搭建
1、GlusterFS简介:GlusterFS是一个开源的分布式文件系统 相关术语如下: - Brick:GFS中的存储单元,通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识,如’SERVER:EXPORT’ - Client: 挂载了GFS卷的设备 - Extended Attributes:xattr是一个文件系统的特性,其支持用户或程序关联文件/目录和元数据
2017-07-15 13:24:14 6104 3
原创 storm 1.1.0 与 kafka 2.10-0.10.2.1的安装部署
1、安装Zookeeper由于这两者都需要Zookeeper的支持,因此需要安装zookeeper集群,然后用zkServer.sh start启动集群 2、解压storm安装包在master机器上解压storm 1.1.0-tar.gz到/usr/local下 sudo tar -zxvf apache-storm-1.1.0-tar.gz -C /usr/local 3、更改文
2017-06-28 10:08:46 645
原创 ubuntu下hive2.1.1部署安装
1、安装mysqlsudo apt-get install mysql-server 2、添加远程控制授权GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION mysql>FLUSH PRIVILEGES 3、创建Hive数据库create database hive; 4、解压
2017-06-19 21:03:45 438
原创 hadoop yarn的job提交流程源码分析
yarn是hadoop 2.x 版本引进的作业调度框架,由NodeManager和ResourceManager组成。可以进行作业的提交和管理。现在通过一个简单的作业提交进行源码分析。 1、job提交流程图: 2、job提交源码流程: 3、源代码分析:job.waitForCompletion(true): 这个是作业提交的入口,返回了作业是否完成的状态 。可以看出主要是调用了su
2017-06-15 10:55:01 1528
原创 hadoop 打开文件输入流 源码分析
* 在hadoop中获取了filesystem之后,便可以通过这个客户端进行相关的文件操作。文件操作涉及到分布式文件系统文件流得使用,现在通过一个简单的下载代码实例进行文件流打开方法即filesystem.open的源码分析* 1、download()方法: /** * 下载方法,用输入流的形式 * @throws IOException */ publ
2017-06-08 19:00:55 496
原创 hadoop FileSystem源码分析
FileSystem是Hadoop下一个抽象的文件系统,其有许多具体的实现类,如hdfs对应的分布式文件系统DistributedFileSystem、FTP对应的FTPFileSystem,以及本地文件系统对应的LocalFileSystem等。现在通过一个简单的文件系统初始化的代码分析构建FileSystem的源码。*1、简单的fs初始化代码: public static void in
2017-06-07 16:24:28 520
原创 Ubuntu 16.04桌面版LAMP环境搭建
本次环境搭建是基于ubuntu 16.04桌面版。apt源的更换可自己另找教程(可以换成阿里源)。LAMP指的是linux、apache、mysql、php四个开发常用的环境。现在开始搭建LAMP 1.安装Apachesudo apt-get install apache2 测试:在浏览器中访问本机,是否出现apache的页面 查看状态: service apache2 statu
2017-05-22 17:34:59 1298
原创 Ubuntu 16.04 各种ide的安装
1.前期准备:jdk eclipse64位安装包 phpstorm tar.gz安装包 pycharm tar.gz安装包 inteliIj tar.gz安装包 2.java环境安装将jdk解压到/opt/java中 sudo tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/ sudo mv ./jdk-8u121
2017-05-22 16:50:16 5439
原创 hbase Shell命令练习
1、创建表语法:create ‘表名’ ,’列簇名’,’列簇名’,….’列簇名’ 举例: create ‘stu’,’bas’ //只有一个列簇名为bas 2、检测表是否存在语法: exists ‘表名’ or list 举例: exists ‘stu’ 3、插入记录语法: put ‘表名’,’行键’,’列名’,’值’ (列名为列簇名:列名) 举例:put ‘s
2017-05-08 15:38:43 756
原创 hadoop2.7.3下Zookeeper与Hbase的安装
1、准备hadoop2.7.3集群(本例采用一主二从的构造) zookeeper-3.4.8.tar.gz hbase-1.2.5-bin.tar.gz 2、安装zookeeper集群在master下解压安装包到/usr/local目录下 进行改名和权限更改 进入zookeeper的conf目录下 ,复制一份zoo_sample.cfg用于zookeeper的配置文件 编辑zoo.
2017-05-05 19:03:44 4381
原创 hadoop2.7.3 eclipse环境搭建
在windows下用eclipse编写map-reduce程序后可以直接提交到Hadoop集群上运行。现在进行相关环境的搭建 1、前期准备hadoop集群(可以是虚拟机集群) hadoop2.7.3源码以及winutils(windows下必备工具) 将其解压到源码的bin目录下,并将hadoop.dl拷贝到system32目录下 设置hadoop环境变量 将had
2017-04-30 20:30:17 1224 1
原创 虚拟机下ubuntu hadoop集群搭建
1、环境准备:Vmvare12、Ubuntu 14.0.4桌面版、hadoop 2.7.3 2、安装SSH装完第一台虚拟机master之后,首先安装openssh-server 尝试登陆 ssh localhost 进行免密登陆授权 3、安装JDK安装openjdk7 vim ~/.bashrc 进行环境变量的配置(配置完成可以进行检验) 4、安装hadoop解压had
2017-04-29 16:59:51 809
原创 HDFS文件系统学习
1、HDFS简介:HDFS(Hadoop Distributed File System )Hadoop分布式文件系统。是根据google发表的论文GFS(Google File System)Google 文件系统翻版的。是一个主/从(Master/Slave)架构的系统,它主要由NameNode、DataNode、SecondaryNameNode、事务日志、映像文件等构成。SecondaryN
2017-04-28 12:43:11 542
原创 FourInOne初识
1、概述FourInOne(中文名字“四不像”)是一个四合一分布式计算框架 。将Hadoop,Zookeeper,MQ,分布式缓存四大主要的分布式计算功能合为一个框架内,对复杂的分布式计算应用进行了大量简化和归纳。在分布式协同方面,实现了Zookeeper所有的功能,简化Zookeeper的树型结构,用domain/node两层结构取代,简化Watch回调多线程等待编程模型,用更直观的容易保证业务逻
2017-04-18 17:01:34 1425
原创 WebMagic
今天学习一个酷炫的封装性很好的爬虫框架WebMagic 1、总体架构WebMagic总体架构图如下: 四个组件: * Downloader:负责从网络上下载页面,获取到初始的Html文本,供后续处理。默认使用Apache HttpClient作为下载工具。 PageProcessor:负责解析页面,抽取有用的信息,发现新链接。WebMagic使用Jsoup作为HTML解析工具,并基
2017-04-17 17:19:54 710
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人