- 博客(4)
- 资源 (26)
- 收藏
- 关注
原创 [streamingpro]开发环境搭建
streamingpro环境准备csdn_commongit clone到本地,然后执行mvn install安装到本地仓库➜ csdn_common git:(master) mvn install[INFO] Building jar: /Users/doctorq/Documents/Developer/git-project/csdn_common/target/csdn-common
2016-10-20 20:59:03 3920 16
原创 kafka的OffsetOutOfRangeException
参考文章kafka.common.OffsetOutOfRangeException 问题处理 这几天折腾spark的kafka的低阶API createDirectStream的一些总结。问题描述国庆前启动spark streaming任务去消费了kafka,后来由于其他原因停止了,放假回来后,重启spark任务后,报kafka.common.OffsetOutOfRangeExcepti
2016-10-14 15:04:11 11195
原创 spark参数executor-cores引起的异常
测试阶段我用了单机的redis,然后我今天将executor-cores的值由1改为了2,然后提交到spark的时候报错报错信息Unexpected end of stream16/10/11 16:35:50 WARN TaskSetManager: Lost task 63.0 in stage 3.0 (TID 212, gzns-arch-spark04.gzns.iwm.name): r
2016-10-11 16:51:03 3867
原创 Spark中RDD操作
Transformations(转换) Transformation 说明 map(func) 根据传入的函数处理原有的RDD对象中每一个元素,每一个新元素处理完成后返回一个对象,这些新对象组装得到一个新的RDD,新的RDD和旧的RDD元素都是一一对应的 filter(func) 根据传入的函数来过滤RDD中每一个元素,通过过滤条件的的元素组成一个新的RDD flatMap
2016-10-09 20:38:30 7114
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人