spark
凯己几
生而不易,何来简单。
展开
-
spark消费kafka的两种方式
https://blog.csdn.net/woloqun/article/details/80635304Spark-Streaming获取kafka数据的两种方式Receiver与Direct一、基于Receiver的方式这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储...转载 2019-02-13 23:01:22 · 4230 阅读 · 0 评论 -
spark 序列化
在spark中自己定义的序列化java序列化:Serialization,但是这种序列化并不稳定,所以一般不使用自带的序列化,而是使用外部的kryo序列化,在下面的三个场景中会使用到该种序列化:在算子函数中使用到外部变量时,该变量会被序列化后进行网络传输(见“原则七:广播大变量”中的讲解)。 将自定义的类型作为RDD的泛型类型时(比如JavaRDD,Student是自定义类型),所有自定义类...原创 2019-02-20 16:43:18 · 210 阅读 · 0 评论 -
使用java 编写spark-streaming从指定的offset开始消费kafka 并且打印出每一条信息的offset
话不多说直接上代码,相信有点功底的spark 程序员都可以看懂这个代码 。第一步 创建kafka主题。(鄙人的测试时使用的1副本,3分区)kafka-topics.sh --create -zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test第二步 使用java 程序实时的向kafka中生...原创 2019-03-21 09:25:56 · 1806 阅读 · 0 评论 -
Flink及Storm、Spark主流流框架比较-实时框架比较
实时计算框架对比 - flink,storm,spark 三者的区别我相信有不少的工程师都有着这样的处境,在学flink之前很好奇flink,storm,spark的区别是什么,为什么现在很多企业都在往flink方向转它的优势是什么,为什么不适用storm,为什么不适用spark,在下面的内容中我会为大家解答。希望可以帮助大家,也希望大家看了之后可以提出自己宝贵建议。有限数据集和无限数据集...原创 2019-04-10 14:28:20 · 12104 阅读 · 0 评论