* 实验环境:
**************************************************************************************
hadoop集群(virtualBox虚拟机,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相关的安装文档: hadoop2.2.0测试环境搭建 Hbase0.96.0 +hadoop2.2.0安装 RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次测试在dataserver进行
1:安装thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
注意安装thrift安装上要使用Python库,如果要使用其他语言就安装上相应的语言库
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
注意如果要编译C++库的话,会出现上面的错误,原因是编译文件路径有问题,可以将已经编译的test/cpp/*.o复制到test/cpp/.libs后,继续编译就可以了。当然不怕麻烦的话,可以修改一下编译文件。
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version
2:安装rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正确的返回结果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
则:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要将动态链接库libthrift-0.9.1.so为系统所共享,不然会出现类似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的错误
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
3:启动hadoop集群、zookeeper集群、HBase集群
4:rhbase测试
花了一个晚上终于搞定,接下去可以在rstudio里方便的应用rhbase了。
**************************************************************************************
hadoop集群(virtualBox虚拟机,CentOS6.4)
hadoop1 192.168.100.171(hadoop master、secondaryname、zookeeper、hbase HMaster)
hadoop2 192.168.100.172(zookeeper、hbase HRegion、Hive Shell)
hadoop3 192.168.100.173(hadoop slave、zookeeper、hbase HRegion)
hadoop4 192.168.100.174(hadoop slave、zookeeper、hbase HRegion)
hadoop5 192.168.100.175(hadoop slave、zookeeper、hbase HRegion)
dataserver 192.168.100.141(Hive metastore、MySQL Server、Oracle)
相关的安装文档: hadoop2.2.0测试环境搭建 Hbase0.96.0 +hadoop2.2.0安装 RHadoop搭建(HDFS+MapReduce)
**************************************************************************************
本次测试在dataserver进行
1:安装thrift0.9.1
[root@dataserver app]# sudo yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel
[root@dataserver app]# tar zxf /mnt/mydisk/soft/program/thrift-0.9.1.tar.gz
[root@dataserver app]# cd thrift-0.9.1
[root@dataserver thrift-0.9.1]# ./configure
**************************************************************************************
![Python开发HBase程序 - mmicky - mmicky 的博客 Python开发HBase程序 - mmicky - mmicky 的博客](http://static.oschina.net/uploads/img/201411/14093236_KaDS.png)
**************************************************************************************
[root@dataserver thrift-0.9.1]# make
**************************************************************************************
![Python开发HBase程序 - mmicky - mmicky 的博客 Python开发HBase程序 - mmicky - mmicky 的博客](http://static.oschina.net/uploads/img/201411/14093236_B6cX.png)
[root@dataserver thrift-0.9.1] cd test/cpp
[root@dataserver cpp]# cp *.o .libs/
**************************************************************************************
[root@dataserver thrift-0.9.1]# make install
[root@dataserver thrift-0.9.1]# thrift --version
2:安装rhase
[root@dataserver /]# export PKG_CONFIG_PATH=$PKG_CONFIG_PATH:/usr/local/lib/pkgconfig/
[root@dataserver /]# pkg-config --cflags thrift
**************************************************************************************
正确的返回结果是:
-I/usr/local/include/thrift
如果是:
-I/usr/local/include
则:
[root@dataserver /]# vi /usr/local/lib/pkgconfig/thrift.pc
Cflags: -I${includedir}/thrift
**************************************************************************************
[root@dataserver lib]# cp /usr/local/lib/libthrift-0.9.1.so /usr/lib/
[root@dataserver lib]# /sbin/ldconfig /usr/lib/libthrift-0.9.1.so
**************************************************************************************
注意要将动态链接库libthrift-0.9.1.so为系统所共享,不然会出现类似unable to load shared object '/usr/lib64/R/library/rhbase/libs/rhbase.so':libthrift-0.9.1.so: cannot open shared object file的错误
**************************************************************************************
[root@dataserver usr]# R CMD INSTALL /mnt/mydisk/soft/R/rhbase_1.2.0.tar.gz
![RHadoop搭建(HBase) - mmicky - mmicky 的博客 RHadoop搭建(HBase) - mmicky - mmicky 的博客](http://static.oschina.net/uploads/img/201411/14093237_hQ7f.png)
3:启动hadoop集群、zookeeper集群、HBase集群
4:rhbase测试
![RHadoop搭建(HBase) - mmicky - mmicky 的博客 RHadoop搭建(HBase) - mmicky - mmicky 的博客](http://static.oschina.net/uploads/img/201411/14093237_Sleo.png)
花了一个晚上终于搞定,接下去可以在rstudio里方便的应用rhbase了。