Kafka消费者生产者编程模型(二)

浅谈Master的HA

[睡着的水-hzjs-2016.08.25]

三、Kafka生产者编程模型(接上文 Kafka消费者生产者编程模型(一))

-----1、同步生产模型

只要没有确认,就会一直发送消息,直到达到发送的最大次数,才会停止!至少要成功确认一次。


-----2、异步生产模型


-----3、两种生产模型的伪代码描述(两种很相似,所以。。。)

负载均衡是一种集群技术,主要有哈希、轮循、随机三种算法,另外我们可以实现他的接口,然后定义自己的负载均衡算法。

-----4、两种生产模型的对比

#同步生产模型:(适应与要求不丢消息,吞吐量低的情况)

  • 低消息丢失率
  • 到消息重复率(由于网络的原因,回复确认未收到)
  • 高延迟
#异步生产模型:(要求有高的吞吐量,不在意丢几条消息,比如日志处理。。。)
  • 延迟低
  • 高发送性能
  • 高消息丢失率(无确认机制,发送端队列满)


四、Kafka生产者的Python和Java客户端实现


-----1、Python客户端实例讲解

#需要的软件环境:

已经搭建好的Kafka 集群,linux服务器一台,Python2.7.6 ,kafka-python 软件包


#同步生产模型的python实现:



main 程序:两个线程,分别调用了同步与异步


#异步生产模型的python实现:


-----2、Python客户端参数调优

-----3、java客户端实例讲解

-----3、java客户端实例调优





  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值