![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
oceanwavewyt
这个作者很懒,什么都没留下…
展开
-
SparkTask未序列化(Tasknotserializable)问题分析
问题描述及原因分析 在编写Spark程序中,由于在map等算子内部使用了外部定义的变量和函数,从而引发Task未序列化问题。然而,Spark算子在计算过程中使用外部变量在许多情形下确实在所难免,比如在filter算子根据外部指定的条件进行过滤,map根据相应的配置进行变换等。为了解决上述Task未序列化问题,这里对其进行了研究和总结。 出现“org.apache.spark.Spark...转载 2018-08-27 16:41:41 · 193 阅读 · 0 评论 -
sparkstreaming开发kafka实战(二)
第一部分对sparkstreaming向kafka写数据和读取数据进行简单的测试和开发,本部分主要是从kafka消费数据的时候,防止意外情况sparkstreaming程序终止运行,导致数据丢失情况发生,需要对kafka的offset 进行记录,在这里我用的是直接读取kafka的方式(createDirectStream),没有经过zookeep,所以这个读取的偏移量需要自己去维护。 消费者代码...原创 2018-09-06 15:05:44 · 373 阅读 · 0 评论