SparkStreaming
SparkStreaming
HoldBelief
这个作者很懒,什么都没留下…
展开
-
SparkStreaming&Kafka——Direct方式
SparkStreaming&Kafka——Direct方式Github地址https://github.com/holdbelief/spark/tree/master/SparkStreaming/SparkStreamingExamples/SparkStreaming_Kafka/Direct整体架构 Reciever模式下,SparkStreaming需要启动一个Recei...原创 2018-03-13 17:29:37 · 531 阅读 · 0 评论 -
SparkStreaming&Kafka——Receiver方式
SparkStreaming&Kafka——Receiver方式Github地址https://github.com/holdbelief/spark/tree/master/SparkStreaming/SparkStreamingExamples/SparkStreaming_Kafka/Receiver整体架构执行流程Kafka生产者向Kafka生产消息Producer向不同的Bro...原创 2018-03-13 14:27:39 · 535 阅读 · 0 评论 -
SparkStreaming并行度属性设置
SparkStreaming并行度属性设置spark.streaming.blockInterval:该属性是对BatchInterval的进一步细化切分。将一个BatchInterval的数据喜欢切分成更小的block,一个block对应一个Spark Partition。 BatchInterval的数据对应RDDblockInterval的数据对应RDD中的Partition 所以Spark...原创 2018-03-13 20:15:52 · 4683 阅读 · 0 评论