![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
异常
张超_
这个作者很懒,什么都没留下…
展开
-
StructedStreaming Kafka 排错(AbstractCoordinator: Marking the coordinator *dead for grou
描述:这次要接收一个新业务的数据,这个数据已经用Flume采集到了kafka里, 考虑后决定采用SparkStructedStreaming去接收数据,可是在接收过程中一直报一个错 19/04/26 15:06:11 INFO AbstractCoordinator: Discovered coordinator hbase-single:9092 (id: 2147483647 rack: nu...原创 2019-04-26 15:27:54 · 5195 阅读 · 0 评论 -
Spark SQL too many elements for tuple: 25 (scala tuple超过默认22个元素)
背景:把一列的DataSet扩张到25列,就报了上面的错,也就是tuple超过了它默认允许的元素个数。 /* * // 方式一:使用普通方式转换,直接在mp函数类增加DataSet的列数。 这种方式使用的是Tuple()增加列 * * 结果:未通过 (现在的scala是2.11 ,2.12以上版本没有试) * */ def fun1(ds1: Dataset[String],spark: ...原创 2019-05-03 10:23:14 · 4256 阅读 · 0 评论 -
MapReduce 作业java heap space(记录蛋疼的一天)
描述:记录作业相关的异常,本次作业是用sqoop导mysql数据到hive http://www.imooc.com/article/253941 YARN调优完美版 一 YARN 作业的java heap space 日志如下: ERROR [IPC Server handler 7 on 43205] org.apache.hadoop.mapred.TaskAttemptListenerIm...原创 2019-06-27 09:26:15 · 1697 阅读 · 0 评论