kafka
边跳舞边打代码的仔
有所为、有所爱、有所期待。
展开
-
Kafka保证数据不重复不丢失
Kafka保证数据不重复不丢失查看了很多的博客在这里简单总结一下,Kafaf数据缺失和重复主要考虑与生产者和消费者连个方面:情况解决消费者重复消费创建去重表消费者丢失数据关闭自动提交offset,处理完之后受到移位生产者重复发送由消费者建去重表解决生产者丢失数据分两种模式来解决,同步模式和异步模式同步模式:配置=1(只有Leader收到,-1...原创 2019-10-11 22:46:08 · 481 阅读 · 0 评论 -
使用Log4j将程序日志实时写入Kafka
很多应用程序使用Log4j记录日志,如何使用Kafka实时的收集与存储这些Log4j产生的日志呢?一种方案是使用其他组件(比如Flume,或者自己开发程序)实时监控这些日志文件,然后发送至Kafka。而另外一种比较便捷的方案是使用Kafka自带的Log4jAppender,在Log4j配置文件中进行相应的配置,即可完成将Log4j产生的日志实时发送至Kafka中。本文以Kafka0.8.2为...原创 2019-09-10 10:58:18 · 723 阅读 · 0 评论