![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
-_-2
这个作者很懒,什么都没留下…
展开
-
SparkStreaming hello world
sparkstreaming原创 2016-11-05 22:41:51 · 313 阅读 · 0 评论 -
实时解析日志遇到的问题记录
使用createDirectStream实现精确一次的读取,kafka的offset保存到Zookeeper中。1. kafka参数auto.offset.reset :smallest, largest 默认为”largest”,此配置参数表示当此groupId下的消费者,在ZK中没有offset值时(比如新的groupId,或者是zk数据被清空),consumer应该从哪个offset开始消费原创 2016-12-06 18:05:34 · 584 阅读 · 0 评论 -
创建DataFrame遇到的问题
createDataFrame原创 2016-11-24 17:53:14 · 3994 阅读 · 0 评论