java 远程调用hbase api -学习记录

最新推荐文章于 2024-03-12 17:08:44 发布

xinaml

最新推荐文章于 2024-03-12 17:08:44 发布

阅读量389

点赞数

分类专栏： java 文章标签： hadoop

本文链接：https://blog.csdn.net/xinaml/article/details/108127212

版权

java 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

haodoop+hbase 单机版搭建起来了,由于java在使用hbase的api调用过程中遇到了一些问题,做下记录:

现有的环境是这样的:
java端是window开发环境,hbase端是只有一台服务器,有独立的公网ip(java跟hbase不在同一内网)

前期工作:

首先一定要设置hostname,否则hbase注册到zookeeper的地址是localhost,java调用肯定调不上的:

1.1执行命令: vi /etc/hosts
#增加一行
108.160.135.xx hbase_node
1.2 执行命令hostnamectl set-hostname hbase_node
啥也不说,先开放必须的端口(分别是16000,16020,2181)

firewall-cmd --zone=public --add-port=16000/tcp --permanent

 firewall-cmd --zone=public --add-port=16020/tcp --permanent

 firewall-cmd --zone=public --add-port=2181/tcp --permanent

 firewall-cmd --reload

hadoop&hbase配置:

core-site.xml

<configuration>
	<property>
		  <name>fs.defaultFS</name>
		  <value>hdfs://hbase_node:9000</value> 
	</property>
	<property>
          <name>hadoop.tmp.dir</name>
         <value>/home/hadoop/data/hadoopdata</value>
       </property>
</configuration>

hdfs-site.xml

<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/home/hadoop/data/hadoopdata/name</value>
		<description>为了保证元数据的安全一般配置多个不同目录</description>
	</property>

	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/home/hadoop/data/hadoopdata/data</value>
		<description>datanode 的数据存储目录</description>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>2</value>
		<description>HDFS 的数据块的副本存储个数, 默认是3</description>
	</property>    
</configuration>

hbase-site.xml

<configuration>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value> 
		<description>集群模式开启</description>
	</property>
	<property>
	<name> hbase.zookeeper.quorum</name>
	<value>hbase_node:2181</value>
	<description>zookeeper集群地址</description>
	 </property>
  <property>
    <name>hbase.rootdir</name>
    <value>file:///home/hbase/data</value>
    <description>hbase存放数据目录</description>
  </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/zookeeper/data</value>
    <description>ZooKeeper数据文件路径</description>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
    <description>
      Controls whether HBase will check for stream capabilities (hflush/hsync).
    </description>
  </property>
</configuration>

regionservers:
把localhost替换成hbase_node

hbase-env.sh 加入以下代码(jdk环境,禁用hbase自带zk)

 export JAVA_HOME=/usr/java/jdk1.8.0_131/
 export HBASE_MANAGES_ZK=false

java 代码都差不多了,设置配置:

  		Configuration configuration = HBaseConfiguration.create();
        configuration.set("hbase.zookeeper.quorum","hbase_node");  //hbase 服务地址
        configuration.set("hbase.zookeeper.property.clientPort","2181"); //端口号
        configuration.set("zookeeper.znode.parent", "/hbase");
        configuration.set("hbase.client.retries.number", "3");
        configuration.set("hbase.rpc.timeout", "60000");
        configuration.set("hbase.client.operation.timeout", "60000");
        configuration.set("hbase.client.scanner.timeout.period", "60000");