我本机安装的环境是centos7,并在本机上安装了zookeeper,hadoop,hbase,hive等组件,
使用pdi7.1来连接hbase,把mysql表中的数据导出到hbase中去,没有问题。
因为其他同事使用的是windows环境,在连接cdh vm的环境时,hbase一直连接可以,而执行有问题。
而在使用自己在虚机中安装的hadoop环境时,hbase连接经常报找不到主机异常或连接拒绝等问题。
这类问题,基本都是hadoop core-site.xml中hdfs端口监听的IP配置问题,和hbase hbase-site.xml中的配置有关,
还有/etc/hosts的配置有关。
现贴上我本机的相关配置文件,
core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://0.0.0.0:9000</value> </property> <property> <name>hadoop.proxyuser.student.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.student.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hive.groups</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hive.hosts</name> <value>*</value> </property> </configuration>
hbase hbase-site.xml
<configuration> <property> <name>hbase.rootdir</name> <value>hdfs://student:9000/user/hbase</value> </property> <property> <name>hbase.cluster.distributed </name> <value>true</value> </property> <property> <name>hbase.regionserver.ipc.address</name> <value>0.0.0.0</value> </property> <property> <name>hbase.master.ipc.address</name> <value>0.0.0.0</value> </property> <property> <name>hbase.thrift.info.bindAddress</name> <value>0.0.0.0</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2182</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>student</value> </property> </configuration>
如果还报找不到主机异常,kettle java.net.UnknownHostException: C
你选择的hbase-site.xm文件位于C盘,请修改为如下的方式,在前面添加文件协议:file:///
file:///C:\Users\Administrator\Desktop\hbase-site.xml