java写spark代码_Java样例代码_MapReduce服务 MRS_开发指南（适用于2.x及之前）_Spark应用开发_开发程序_从Hive读取数据再写入HBase_华为云...

代码样例

下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase

/**

* 从hive表读取数据，根据key值去hbase表获取相应记录，把两者数据做操作后，更新到hbase表

*/

public class SparkHivetoHbase {

public static void main(String[] args) throws Exception {

if (args.length < 1) {

printUsage();

}

// 通过spark接口获取表中的数据

SparkConf conf = new SparkConf().setAppName("SparkHivetoHbase");

JavaSparkContext jsc = new JavaSparkContext(conf);

HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(jsc);

DataFrame dataFrame = sqlContext.sql("select name, account from person");

// 遍历hive表中的每一个partition, 然后更新到hbase表

// 如果数据条数较少，也可以使用foreach()方法

final String zkQuorum = args[0];

dataFrame.toJavaRDD().foreachPartition(

new