spark保存数据到hbase_用spark写数据到hbase

本帖最后由 remarkzhao 于 2017-7-19 14:24 编辑

请问各位大神这是什么情况。。

从网上看了一个例子   用spark向hbase写数据

抛出的异常：java.lang.IllegalArgumentException: Can not create a Path from a null string

用sbt打包的时候出现的warning：

[warn] there were four deprecation warnings; re-run with -deprecation for details

[warn] one warning found

[warn] Multiple main classes detected.  Run 'show discoveredMainClasses' to see the list  (我在里面写了2个scala，另一个scala能正常运行并已成功)

PS：hbase的student表能成功写入数据

我的环境： hadoop全分布集群

hbase全分布集群

代码如下：

import org.apache.hadoop.hbase.HBaseConfiguration  import org.apache.hadoop.hbase.mapreduce.TableOutputFormat  import org.apache.spark._  import org.apache.hadoop.mapreduce.Job  import org.apache.hadoop.hbase.io.ImmutableBytesWritable

import org.apache.hadoop.hbase.client.Result  import org.apache.hadoop.hbase.client.Put

import org.apache.hadoop.hbase.util.Bytes

object SparkWriteHBase {

def main(args: Array[String]): Unit = {

val sparkConf = new SparkConf().setAppName("SparkWriteHBase").setMaster("local")

val sc = new SparkContext(sparkConf)

val tablename = "student"

sc.hadoopConfiguration.set(TableOutputFormat.OUTPUT_TABLE, tablename)

val job = new Job(sc.hadoopConfiguration)

job.setOutputKeyClass(classOf[ImmutableBytesWritable])

job.setOutputValueClass(classOf[Result])

job.setOutputFormatClass(classOf[TableOutputFormat[ImmutableBytesWritable]])

val indataRDD = sc.makeRDD(Array("3,Rongcheng,M,26","4,Guanhua,M,27"))

val rdd = indataRDD.map(_.split(',')).map{arr=>{        val put = new Put(Bytes.toBytes(arr(0)))              put.add(Bytes.toBytes("info"),Bytes.toBytes("name"),Bytes.toBytes(arr(1)))        put.add(Bytes.toBytes("info"),Bytes.toBytes("gender"),Bytes.toBytes(arr(2)))              put.add(Bytes.toBytes("info"),Bytes.toBytes("age"),Bytes.toBytes(arr(3).toInt))       (new ImmutableBytesWritable, put)       }}            rdd.saveAsNewAPIHadoopDataset(job.getConfiguration())    }    }