spark streaming
凯己几
生而不易,何来简单。
展开
-
使用java 编写spark-streaming从指定的offset开始消费kafka 并且打印出每一条信息的offset
话不多说直接上代码,相信有点功底的spark 程序员都可以看懂这个代码 。第一步 创建kafka主题。(鄙人的测试时使用的1副本,3分区)kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test第二步 使用java 程序实时的向kafka中生...原创 2019-03-21 09:25:56 · 1794 阅读 · 0 评论 -
Flink及Storm、Spark主流流框架比较-实时框架比较
实时计算框架对比 - flink,storm,spark 三者的区别我相信有不少的工程师都有着这样的处境,在学flink之前很好奇flink,storm,spark的区别是什么,为什么现在很多企业都在往flink方向转它的优势是什么,为什么不适用storm,为什么不适用spark,在下面的内容中我会为大家解答。希望可以帮助大家,也希望大家看了之后可以提出自己宝贵建议。有限数据集和无限数据集...原创 2019-04-10 14:28:20 · 12094 阅读 · 0 评论