Python & Spark学习笔记系列 【第三章】例子:Python+Spark+Hbase

这里我的原始数据在Hbase里,以下会介绍两种方式可以通过Spark达到操作Hbase的效果。

第一种:Spark直连HBase

代码如下,但是这里我遇到了一个问题,就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable,我使用IDEA本地运行提示找不到这个类,报错是:

java.lang.ClassNotFoundException: org.apache.hadoop.hbase.io.ImmutableBytesWritable

这个类是在hbase-common-1.0.0.jar下,其他版本下应该也有,我用了各种办法引入这个jar包都没有成功,报错不变,所以这个例子实际上我并没有完成,有解决的希望大家帮我留言。

from pyspark import SparkContext, SparkConf

import os

os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_92'
conf = SparkConf().setMaster("local").setAppName("spark_hbase_test")
sc = SparkContext(conf=conf)
host = 'devhadoop3.reachauto.com,devhadoop2.reachauto.com,devhadoop1.reachauto.com'
table = '2:IndexMessage'
conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": table}
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
hbase_rdd = sc.newAPIHadoopRDD("org.apache.hadoop.hbase.mapreduce.TableInputFormat",
                               "org.apache.hadoop.hbase.io.ImmutableBytesWritable",
                               "org.apache.hadoop.hbase.client.Result", keyConverter=keyConv, valueConverter=valueConv,
                               conf=conf)
count = hbase_rdd
print(count)

第二种:创建Hive表与Hbase建立映射关系之后使用SparkSQL访问Hive也可以达到操作HBase的目的

建立Hive与Hbase对应关系的办法参考我之前的帖子

待续

已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页