![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark笔记
爱吹牛的猫
这个作者很懒,什么都没留下…
展开
-
Kafka学习总结
Kafka 官网地址 http://kafka.apache.org/21/documentation.html#introduction Apache Kafka®是一个分布式流媒体平台。这到底是什么意思?流媒体平台有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息系统。以容错的持久方式存储记录流。在记录发生时处理记录流。 Kafka通常用于两大类应用程序: 构建实时流数据管道,在系统或...原创 2019-07-17 09:43:14 · 161 阅读 · 0 评论 -
SparkStreaming消费Kafka
单词计数 package zygDemo1.kafka import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.dstream.{DStream,...原创 2019-07-27 09:16:13 · 258 阅读 · 0 评论 -
SparkStreaming入门总结
Spark Streaming http://spark.apache.org/docs/2.2.1/streaming-programming-guide.html Spark Streaming 的checkPoint: 提供故障容错 To summarize, metadata checkpointing is primarily needed for recovery from drive...原创 2019-07-27 09:22:01 · 269 阅读 · 0 评论