Spark笔记
爱吹牛的猫
这个作者很懒,什么都没留下…
展开
-
Kafka学习总结
Kafka 官网地址 http://kafka.apache.org/21/documentation.html#introduction Apache Kafka®是一个分布式流媒体平台。这到底是什么意思?流媒体平台有三个关键功能:发布和订阅记录流,类似于消息队列或企业消息系统。以容错的持久方式存储记录流。在记录发生时处理记录流。 Kafka通常用于两大类应用程序: 构建实时流数据管道,在系统或...原创 2019-07-17 09:43:14 · 159 阅读 · 0 评论 -
SparkStreaming消费Kafka
单词计数 package zygDemo1.kafka import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.kafka.common.serialization.StringDeserializer import org.apache.spark.streaming.dstream.{DStream,...原创 2019-07-27 09:16:13 · 257 阅读 · 0 评论 -
SparkStreaming入门总结
Spark Streaming http://spark.apache.org/docs/2.2.1/streaming-programming-guide.html Spark Streaming 的checkPoint: 提供故障容错 To summarize, metadata checkpointing is primarily needed for recovery from drive...原创 2019-07-27 09:22:01 · 266 阅读 · 0 评论