kafka
rickiyang
这个作者很懒,什么都没留下…
展开
-
Kafka基本知识入门(一)
1、 基础知识有关RabbitMQ,RocketMQ,Kafka的区别这个网上很多,了解一下区别性能,分清什么场景使用。分布式环境下的消息中间件Kafka做的比较不错,在分布式环境下使用频繁,我也不免其俗钻研一下Kafka的使用。任何消息队列都遵循AMQP协议,AMQP协议(Advanced Message Queuing Protocol,高级消息队列协议) AMQP是一个标准开放的应...原创 2018-04-15 17:38:08 · 465 阅读 · 0 评论 -
Kafka集群模式安装(二)
我们来安装Kafka的集群模式,三台机器:192.168.131.128192.168.131.130192.168.131.131Kafka集群需要依赖zookeeper,所以需要先安装好zk。下载Kafka安装包: Kafka_2.11-1.1.0.tgz解压到 /usr/local/下。进入到Kafka的config目录下:我们看到有zk的配置文件,这是K...原创 2018-04-16 23:02:03 · 630 阅读 · 1 评论 -
kafka客户端和服务端开发(三)
前面我们已经搭建了kafka的单机和集群环境,分别写了简单的实例代码,对于代码里面使用到的参数并没有做解释。下面我们来详细说一下各个参数的作用。1. 创建kafka生产者kafka生产者有3个必选的属性:bootstrap.servers该属性指定broker的地址清单,地址的格式为host:port。清单里不需要包含所有的broker 地址,生产者会从给定的broker里查找...原创 2018-04-17 23:28:39 · 1880 阅读 · 0 评论 -
kafka消息的处理机制(五)
这一篇我们不在是探讨kafka的使用,前面几篇基本讲解了工作中的使用方式,基本api的使用还需要更深入的去钻研,多使用才会有提高。今天主要是探讨一下kafka的消息复制以及消息处理机制。1. broker的注册Kafka使用Zookeeper来维护集群成员的信息。每个broker都有一个唯一标识符,这个标识符可以在配置文件里指定,也可以自动生成。在kafka启动的时候,他通过创建临节点...原创 2018-04-24 23:30:51 · 6416 阅读 · 0 评论 -
kafka同步异步消费和消息的偏移量(四)
1. 消费者位置(consumer position)因为kafka服务端不保存消息的状态,所以消费端需要自己去做很多事情。我们每次调用poll()方法他总是返回已经保存在生产者队列中还未被消费者消费的消息。消息在每一个分区中都是顺序的,那么必然可以通过一个偏移量去确定每一条消息的位置。偏移量在消费消息的过程中处于重要的作用。如果是自动提交消息,那么poll()方法会去在每次获取消息的时候...原创 2018-04-21 16:28:20 · 10626 阅读 · 6 评论