本文介绍了在Spark 1.4中尝试读取HBase 0.96数据时遇到的`java.io.NotSerializableException: org.apache.hadoop.hbase.io.ImmutableBytes`错误。解决方法是在spark-defaults.conf配置文件中设置合适的序列化类，然后重启Spark服务，问题得以解决。
spark接hbase读取数据：
val sc = new SparkContext(sparkConf)
val conf = HBaseConfiguration.create()
conf.set("hbase.zookeeper.property.clientPort", "port..")
conf.set("hbase.zookeeper.quorum", "ip..")
conf.set(TableInputFormat.INPUT_TABLE,"table1..")
val hBaseRDD = sc.newAPIHadoopRDD(conf, classOf[TableInputFormat],
classOf[org.apache.hadoop.hbase.io.ImmutableBytesWritable],
classOf[org.apache.hadoop.hbase.client.Result])
val count = hBaseRDD.count()
println("HBase RDD Count:" + count)
hBaseRDD.cache()
//遍历输出
hBaseRDD.collect().foreach{ case (_,result) =>
val key = Bytes.toInt(result.getRow)
val name = Bytes.toString(result.getValue("pd".getBytes,"name".getBytes))
val age = Bytes.toInt(result.getValue("pd".getBytes,
最低0.47元/天 解锁文章
扫一扫
1019
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
