Spark往hbase里用saveAsHadoopDataset写数据时会出现错误解决

最新推荐文章于 2023-03-13 15:28:56 发布

Sword1996

最新推荐文章于 2023-03-13 15:28:56 发布

阅读量940

点赞数 1

分类专栏：大数据

本文链接：https://blog.csdn.net/Sword1996/article/details/103157491

版权

在使用Spark将数据保存到HBase时遇到错误，尝试通过配置路径解决失败。有效解决方案是在Spark的JAR文件夹中添加HBase相关JAR包，但可能会遇到Task不serializable的问题，报错为'org.apache.spark.SparkException: Job aborted: Task not serializable: java.io.NotSerializableException'。

摘要由CSDN通过智能技术生成

Spark往hbase里用saveAsHadoopDataset写数据时会出现如下错误:


Exception in thread "main" org.apache.spark.SparkException: Job aborted.
	at org.apache.spark.internal.io.SparkHadoopWriter$.write(SparkHadoopWriter.scala:100)
	at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopDataset$1.apply$mcV$sp(PairRDDFunctions.scala:1096)
Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 62.0 failed 4 times, most recent failure