kafka
李大洲
我有一壶酒,足以慰风尘。尽倾江海里,赠饮天下人。
展开
-
二、Kafka集群搭建、启动与命令行操作
一、安装kafka集群:0.选择s101 ~ s103三台主机(虚拟机)安装kafka1.准备zk:略2.jdk:略3.tar文件tar -zxvf kafka_2.11-0.10.2.1 -C /soft4.环境变量[/etc/profile] //记得要配置#kafkaexport KAFKA_HOME=/soft/kafkaexport PATH=$P...原创 2019-01-23 21:26:55 · 6581 阅读 · 0 评论 -
一、消息队列与Kafka
1、消息队列消息队列的两种模式:(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)点对点模型通常是一个基于拉取或者轮询的消息传送模型,这种模型从队列中请求信息,而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理,即使有多个消息监听者也是如此。(2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者)发布订阅模型则是一个...原创 2019-01-14 09:56:07 · 482 阅读 · 1 评论 -
三、kafka工作流程分析
一、Kafka生产过程分析:1、写入方式:producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。 2、分区(partition)消息发送时都被发送到一个topic,其本质就是一个目录,而topic是由一些Partition Logs(分...原创 2019-01-24 19:26:09 · 310 阅读 · 0 评论 -
四、Kafka API 使用
1、生产者API①启动hadoop集群、zookeeper集群、kafka集群,接着再启动一个kafka消费者。$ bin/kafka-console-consumer.sh --zookeeper s101:2181 --topic first //启动Kafka消费者②导入pom依赖:<dependency> <groupI...原创 2019-03-11 14:29:14 · 194 阅读 · 0 评论 -
五、Kafka拦截器
1、拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(i...原创 2019-03-12 18:58:17 · 261 阅读 · 0 评论 -
七、Kafka版本的选择
一、Kafka版本命名:当前 Apache Kafka 已经迭代到 2.3版本。但是我对Kafka 的版本命名理解存在歧义。今天特此学习一下。比如我们在官网上下载 Kafka 时,会看到这样的版本:难道 Kafka 版本号不是 2.11 或 2.12 吗?其实不然,前面的版本号是编译 Kafka 源代码的 Scala 编译器版本。Kafka 服务器端的代码完全由 Scala 语...原创 2019-07-14 19:07:09 · 11103 阅读 · 1 评论 -
六、Kafka种类的选择
1. Apache KafkaApache Kafka 是最“正宗”的 Kafka。自 Kafka 开源伊始,它便在 Apache 基金会孵化并成为顶级项目,它也被称为社区版 Kafka。更重要的是,它是后面其他所有发行版的基础。也就是说,后面提到的发行版要么是原封不动地继承了 Apache Kafka,要么是在此之上扩展了新功能,总之 Apache Kafka 是我们学习和使用 Kafka ...原创 2019-07-10 19:35:50 · 1122 阅读 · 0 评论