当从SparkSql得到的dataFrame,映射成RDD之后向hbase中直接保存数据的时候报错:
Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set in JobConf.
采用的是saveAsNewApiHadoopDataSet
但是更换为saveAsHadoopDataset就可以使用,不知道在哪里出现了错误,对比发现应该是 没有使用sc.hadoopConfiguration,而是使用的JobConf 作为参数,新API不能用旧的configuration 。