- 博客(8)
- 收藏
- 关注
RSS订阅原创 CentOS下搭建爬虫程序开发环境
1.安装Python为了方便，我们采用Anaconda集成环境来安装2.安装scrapypip install scrapy安装成功后会提示：Successfully installed PyDispatcher-2.0.5 Twisted-16.6.0 attrs-16.3.0 constantly-15.1.0 cssselect-1.0.0 incremental-16.10.1 parsel
2016-11-28 21:06:02
2307
原创 CentOS6.5下tar包安装postgresql-9.6.1数据库
1.下载安装包从Postgres官方网站下载postgresql-9.6.1-1-linux-x64-binaries.tar.gz安装包2.创建用户创建Postgres用户：useradd postgres
2016-11-28 14:36:33
6006
2
原创 HBase Bulk Load的基本使用
1.需求最近在项目中需要将大量存在于文本文件中的数据批量导入到hbase表中，并且涉及到将多个文本文件中的数据合并到同一张hbase表中，而这些文本文件中的字段并不是完全相同的2.工具选型因为项目当中查询数据采用的是Phoenix，因此，最初想利用Phoenix的Bulk CSV Data Loading来实现，但是简单调研之后，发现并不适合我们本次的需求，后面我会补充一篇文章来对hbase的bul
2016-11-27 22:05:40
1936
原创 Linux下执行脚本提示No such file or directory
1.现象描述： 在linux下使用./gradlew distTar编译azkaban的时候提示如下错误：: No such file or directory2.原因分析： 在当前目录下明显有这个脚本，既然它提示不存在，肯定是因为linux环境没有读到该文件，因此考虑文件格式为dos3.解决方法：使用dos2unix命令将该脚本转换为unix格式，重新执行该脚本即可，如果没有dos2unix命
2016-11-17 14:37:19
6505
原创 hbase启动后HMaster自动关闭
现象描述：搭建好hbase集群并启动集群后发现，HMaster在启动后几秒内自动关闭，HRegionServer运行正常。错误日志：2016-11-16 17:12:02,061 FATAL [hadoop1:16000.activeMasterManager] master.HMaster: Failed to become active masterjava.net.ConnectExcept
2016-11-16 17:39:34
20777
1
原创 hbase1.2.3集群搭建（基于hadoop2.7.3）
0.机器列表采用四台机器hadoop1-hadoop4，其中hadoop1作为HMaster，hadoop2-hadoop4作为HRegionServer.以下操作在hadoop1上进行1.上传hbase安装包2.解压tar -zxvf hbase-1.2.3-bin.tar.gz -C ~/hadoop/3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hd
2016-11-16 15:05:50
886
原创 Zookeeper3.4.9集群搭建（基于hadoop2.7.3）
1.环境准备2n-1台linux机器或者虚拟机:由于zookeeper的paxos算法要求半数以上存活则为可用，所以必须准备单数个服务器搭建环境，本次试验采用hadoop2,hadoop3,hadoop4三台机器，在hadoop273用户下执行操作2.上传并解压zookeeper安装包解压zookeeper-3.4.9.jar到指定目录：su - hadoop273tar -zxvf zookee
2016-11-16 14:21:43
1722
原创 Hadoop2.7.3全分布式环境搭建(非HA)
0.环境准备：在VMWare中准备四台CentOS6.5虚拟机，主机名分别为hadoop1,hadoop2,hadoop3,hadoop41.建立用户：hadoop273，并将其组名指定为jimmyuseradd -g jimmy hadoop273
2016-11-16 11:21:53
1430
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人