雨果等夏天的博客

描述：这次要接收一个新业务的数据，这个数据已经用Flume采集到了kafka里，考虑后决定采用SparkStructedStreaming去接收数据，可是在接收过程中一直报一个错19/04/26 15:06:11 INFO AbstractCoordinator: Discovered coordinator hbase-single:9092 (id: 2147483647 rack: nu...

背景：把一列的DataSet扩张到25列，就报了上面的错，也就是tuple超过了它默认允许的元素个数。/** // 方式一：使用普通方式转换，直接在mp函数类增加DataSet的列数。 这种方式使用的是Tuple()增加列** 结果：未通过 （现在的scala是2.11 ，2.12以上版本没有试）* */ def fun1(ds1: Dataset[String],spark: ...

描述：记录作业相关的异常，本次作业是用sqoop导mysql数据到hivehttp://www.imooc.com/article/253941 YARN调优完美版一 YARN 作业的java heap space日志如下：ERROR [IPC Server handler 7 on 43205] org.apache.hadoop.mapred.TaskAttemptListenerIm...