自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 CentOS下搭建爬虫程序开发环境

1.安装Python为了方便,我们采用Anaconda集成环境来安装2.安装scrapypip install scrapy安装成功后会提示:Successfully installed PyDispatcher-2.0.5 Twisted-16.6.0 attrs-16.3.0 constant...

2016-11-28 21:06:02

阅读数 1819

评论数 0

原创 CentOS6.5下tar包安装postgresql-9.6.1数据库

1.下载安装包 从Postgres官方网站下载postgresql-9.6.1-1-linux-x64-binaries.tar.gz安装包 2.创建用户 创建Postgres用户: useradd postgres

2016-11-28 14:36:33

阅读数 4968

评论数 2

原创 HBase Bulk Load的基本使用

1.需求最近在项目中需要将大量存在于文本文件中的数据批量导入到hbase表中,并且涉及到将多个文本文件中的数据合并到同一张hbase表中,而这些文本文件中的字段并不是完全相同的2.工具选型因为项目当中查询数据采用的是Phoenix,因此,最初想利用Phoenix的Bulk CSV Data Loa...

2016-11-27 22:05:40

阅读数 1206

评论数 0

原创 Linux下执行脚本提示No such file or directory

1.现象描述: 在linux下使用./gradlew distTar编译azkaban的时候提示如下错误:: No such file or directory2.原因分析: 在当前目录下明显有这个脚本,既然它提示不存在,肯定是因为linux环境没有读到该文件,因此考虑文件格式为dos3.解决...

2016-11-17 14:37:19

阅读数 3126

评论数 0

原创 hbase启动后HMaster自动关闭

现象描述:搭建好hbase集群并启动集群后发现,HMaster在启动后几秒内自动关闭,HRegionServer运行正常。错误日志:2016-11-16 17:12:02,061 FATAL [hadoop1:16000.activeMasterManager] master.HMaster: F...

2016-11-16 17:39:34

阅读数 15983

评论数 1

原创 hbase1.2.3集群搭建(基于hadoop2.7.3)

0.机器列表采用四台机器hadoop1-hadoop4,其中hadoop1作为HMaster,hadoop2-hadoop4作为HRegionServer.以下操作在hadoop1上进行1.上传hbase安装包2.解压tar -zxvf hbase-1.2.3-bin.tar.gz -C ~/ha...

2016-11-16 15:05:50

阅读数 723

评论数 0

原创 Zookeeper3.4.9集群搭建(基于hadoop2.7.3)

1.环境准备2n-1台linux机器或者虚拟机:由于zookeeper的paxos算法要求半数以上存活则为可用,所以必须准备单数个服务器搭建环境,本次试验采用hadoop2,hadoop3,hadoop4三台机器,在hadoop273用户下执行操作2.上传并解压zookeeper安装包解压zook...

2016-11-16 14:21:43

阅读数 1494

评论数 0

原创 Hadoop2.7.3全分布式环境搭建(非HA)

0.环境准备:在VMWare中准备四台CentOS6.5虚拟机,主机名分别为hadoop1,hadoop2,hadoop3,hadoop41.建立用户:hadoop273,并将其组名指定为jimmyuseradd -g jimmy hadoop273

2016-11-16 11:21:53

阅读数 1237

评论数 0

提示
确定要删除当前文章?
取消 删除