Aying_seeyou的博客

原创 SparkStreaming+Kafka

SparkStreaming+Kafka 维护消费者offset SparkStreaming+Kafka Receiver 模式 SparkStreaming+Kafka Direct 模式

原创 kafka的消息存储和生产消费模型

kafka的消息存储和生产消费模型 • 一个topic分成多个partition • 每个partition内部消息强有序，其中的每个消息都有一个序号叫offset • 一个partition只对应一个broker，一个broker可以管多个partition • 消息直接写入文件,并不是存储在内存中 • 根据时间策略(默认一周)删除，而不是消费完就删除 • producer自己决定往哪个part...

原创 SparkStreaming接受数据原理

原创 SparkStreaming与Storm的区别