Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se

最新推荐文章于 2023-02-27 23:00:00 发布

mtj66

最新推荐文章于 2023-02-27 23:00:00 发布

阅读量5.2k

点赞数 3

分类专栏： spark hbase

本文链接：https://blog.csdn.net/mtj66/article/details/80567168

版权

spark 同时被 2 个专栏收录

40 篇文章 24 订阅 ¥19.90 ¥99.00

订阅专栏

hbase

28 篇文章 0 订阅

订阅专栏

在尝试将SparkSQL转换为RDD并保存到HBase时，出现'Output directory not set in JobConf'错误。问题在于使用了JobConf而不是sc.hadoopConfiguration。解决方法是使用sc.hadoopConfiguration设置相关配置，如'hbase.zookeeper.quorum'和'TableOutputFormat.OUTPUT_TABLE'，然后使用saveAsNewAPIHadoopDataset。

摘要由CSDN通过智能技术生成

Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not se
当从SparkSql得到的dataFrame，映射成RDD之后向hbase中直接保存数据的时候报错：

Exception in thread "main" org.apache.hadoop.mapred.InvalidJobConfException: Output directory not set in JobConf.

采用的是saveAsNewApiHadoopDataSet

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import SparkContext._
import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.mapreduce.Job
import org.apache.hadoop.hbase.mapreduce.TableOutputFormat
import org.apache.hadoop.hbase.io.ImmutableBytesWritable
import org.apache.hadoop.hbase.client.Re

了解本专栏