win10下Spark java读取Hbase数据

最新推荐文章于 2024-06-17 15:04:14 发布

shelmi

最新推荐文章于 2024-06-17 15:04:14 发布

阅读量2.7k

点赞数

分类专栏：机器学习文章标签： spark hbase hadoop java

本文链接：https://blog.csdn.net/Incy_1218/article/details/71453608

版权

本文采用spark2.1+hadoop2.7.3+Hbase1.3.0的配置，在hbase shell中插入数据，然后用java把这些数据读入到spark rdd中

摘要由CSDN通过智能技术生成

本文采用的配置为spark2.1+hadoop2.7.3+Hbase1.3.0

安装hadoop

1、hadoop在官网下载src之后解压，创建新系统环境变量HADOOP_HOME并把值设置为hadoop解压所在目录。把这个链接https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1下的bin目录下载下来，替换掉我们本地的hadoop bin目录。
2、找到\hadoop-2.7.3\etc\hadoop\hadoop-env.cmd，然后把里面的JAVA_HOME的值改为你的jdk所在目录
具体可以参考http://blog.csdn.net/kokjuis/article/details/53537029

安装Hbase

1、下载Hbase，然后修改conf/hbase-site.xml为如下

configuration>
    <property>
           <!-- hbase提供的服务地址-->
           <name>hbase.master</name>
           <value>localhost:6000</value>
   </property>
   <property>
           <name>hbase.master.maxclockskew</name>
           <value>180000</value>
   </property>
   <property>
          <!-- hbase在hdfs里的目录 -->
           <name>hbase.rootdir</name>
           <value>hdfs://localhost:9000/hbase</value>
   </property>
   <property>
           <name>hbase.cluster.distributed</name>
           <value>false</value>
   </property>
   <property>
           <!-- ZK的主机地址 -->
           <name>hbase.zookeeper.quorum</name>
           <value>localhost</value>
   </property>
   <property>
            <!-- hbase在ZK上保存数据的目录 -->
           <name>hbase.zookeeper.property.dataDir</name>
           <value>/hbase</value>
   </property>
   <property>
           <name>dfs.replication</name><