hbase scala 实例_spark dataset读写 hbase 案例代码

1.spark 读写hbase代码

spark 提供了saveAsNewAPIHadoopDataset方法来写入rdd到hbase，和 newAPIHadoopRDD方法读取hbase数据到rdd

maven依赖

UTF-8

2.11.12

2.3.0

2.7.7

2.11

1.4.9

org.apache.spark

spark-core_2.11

${spark.version}

org.apache.spark

spark-sql_2.11

${spark.version}

org.apache.spark

spark-core_${scala.main.version}

${spark.version}

org.apache.hbase

hbase

1.4.9

provided

org.apache.hbase

hbase-client

1.4.9

provided

org.apache.hbase

hbase-server

1.4.9

provided

org.apache.hbase

hbase-common

1.4.9

provided

org.apache.phoenix

phoenix-spark

4.14.1-HBase-1.4

provided

scala代码// spark 需要配置 spark.hadoop.validateOutputSpecs 否则有可能验证不通过