Python & Spark学习笔记系列 【第三章】例子：Python+Spark+Hbase

这里我的原始数据在Hbase里，以下会介绍两种方式可以通过Spark达到操作Hbase的效果。

第一种：Spark直连HBase

代码如下，但是这里我遇到了一个问题，就是下边代码中使用到的org.apache.hadoop.hbase.io.ImmutableBytesWritable，我使用IDEA本地运行提示找不到这个类，报错是：

java.lang.ClassNotFoundException: org.apache.hadoop.hbase.io.ImmutableBytesWritable

这个类是在hbase-common-1.0.0.jar下，其他版本下应该也有，我用了各种办法引入这个jar包都没有成功，报错不变，所以这个例子实际上我并没有完成，有解决的希望大家帮我留言。

from pyspark import SparkContext, SparkConf

import os

os.environ['JAVA_HOME'] = 'D:\Java\jdk1.8.0_92'
conf = SparkConf().setMaster("local").setAppName("spark_hbase_test")
sc = SparkContext(conf=conf)
host = 'devhadoop3.reachauto.com,devhadoop2.reachauto.com,devhadoop1.reachauto.com'
table = '2:IndexMessage'
conf = {"hbase.zookeeper.quorum": host, "hbase.mapreduce.inputtable": table}
keyConv = "org.apache.spark.examples.pythonconverters.ImmutableBytesWritableToStringConverter"
valueConv = "org.apache.spark.examples.pythonconverters.HBaseResultToStringConverter"
hbase_rdd = sc.newAPIHadoopRDD("org.apache.hadoop.hbase.mapreduce.TableInputFormat",
                               "org.apache.hadoop.hbase.io.ImmutableBytesWritable",
                               "org.apache.hadoop.hbase.client.Result", keyConverter=keyConv, valueConverter=valueConv,
                               conf=conf)
count = hbase_rdd
print(count)

第二种：创建Hive表与Hbase建立映射关系之后使用SparkSQL访问Hive也可以达到操作HBase的目的

建立Hive与Hbase对应关系的办法参考我之前的帖子

待续