![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
o.o沧海一粟
这个作者很懒,什么都没留下…
展开
-
Kafka数据问题
1、kafka在高并发的情况下,如何避免消息丢失和消息重复?消息丢失解决方案:首先对kafka进行限速, 其次启用重试机制,重试间隔时间设置长一些,最后Kafka设置acks=all,即需要相应的所有处于ISR的分区都确认收到该消息后,才算发送成功消息重复解决方案:消息可以使用唯一id标识生产者(ack=all 代表至少成功发送一次)消费者 (offset手动提交,业务逻辑成功处理后,...原创 2019-03-16 16:47:04 · 201 阅读 · 0 评论 -
flume sqoop kafka总结
1.flumeflume是高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。flume不仅可以采集数据,还可以对数据进行简单的处理。flume的文件采集source工具只能识别文本数据。2.flume-ngflume-ng中,flume的集群只有一种角色agentagent中有三种组件:source、channel、sinksource作用是采集数据,它可...原创 2019-04-11 20:23:46 · 1004 阅读 · 0 评论 -
Kafka整体架构
1.概述Apache Kafka最早是由LinkedIn开源出来的分布式消息系统,现在是Apache旗下的一个子项目,并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区非常活跃,从0.9版本开始,Kafka的标语已经从“一个高吞吐量,分布式的消息系统”改为"一个分布式流平台"。Kafka和传统的消息系统不同在于:kafka是一个分布式系统,易于向外扩展。 它同时为...原创 2019-04-09 09:54:14 · 3142 阅读 · 0 评论 -
Kafka生产者事务和幂等
目录1 生产者幂等性1.1 引入1.2 幂等性实现1.2.1 PID 和 Sequence Number1.2.2 生成PID的流程1.3 幂等性的应用实例2 事务属性2.1 事务属性理解2.2 引入事务目的2.3 事务操作的API3 事务属性的应用实例3.1 相关属性配置3.2 只有写3.3 消费-生产并存(consume-transfor...原创 2019-04-09 22:01:19 · 1367 阅读 · 0 评论