designer01的博客

关键概念 生产者 消费者 broker 主题 分区 副本

logstash作用 logstash的作用是日志收集器，在我这个例子里，我的input是命令行的标准输入，而output为kafka和命令行标准输出。 logstash的配置信息为： input { stdin {} } output { kafka { topic_id => "drTest" bootstrap_servers => "192.

解决问题 生产者种类多，数据格式不同，数据源众多，消费者种类多：使用生产者和消费者模式进行解耦 消费者无法依据自身处理情况轮询拉取数据：提供数据持久化，适配多个消费者 消息系统无法横向扩展：系统随流量进行很想扩展，使用消息批次加压缩的模式提高消息传输效率 概念 主题 通过主题对消息进行分类 配置项 partition：分区数 设置日志保留的时间、每个分区保留的日志大小 每个...

保证storm和kafka上的消息有序 整体流程：kafka生产者->kafka消费者->spout->bolt： kafka的生产者按制定字段发送到指定主题上，保证一类消息的先后次序（如果想要所有的消息都有序，可以只用一个分区，但是这样就只能有一个消费者消费） producer = kafkaClientService.< String, String &a