Kafka
Kafka从入门到放弃
不温卜火
大数据开发/数据采集/数据清洗/数据分析/数据可视化
关注我!共同学习!!!
展开
-
Kafka快速入门系列(15) | Kafka知识点总结(建议收藏!)
本篇博主带来的是Kafka知识点总结。目录1.Kafka中的ISR、AR又代表什么?2.Kafka中的HW、LEO等分别代表什么?3.Kafka中是怎么体现消息顺序性的?4.Kafka中的分区器、序列化器、拦截器是否了解?它们之间的处理顺序是什么?5.Kafka生产者客户端的整体结构是什么样子的?使用了几个线程来处理?分别是什么?6.“消费组中的消费者个数如果超过topic的分区,那么就会有...原创 2020-05-25 09:08:34 · 5497 阅读 · 20 评论 -
Kafka快速入门系列(14) | Kafka监控(两种)
本篇博主带来的是Kafka的两种监控软件。目录一. Kafka Monitor二. Kafka Manager一. Kafka Monitor 1. 上传jar包KafkaOffsetMonitor-assembly-0.4.6.jar到集群 2.在/opt/module/下创建kafka-offset-console文件夹[bigdata@hadoop002 module]...原创 2020-05-25 09:08:05 · 4967 阅读 · 18 评论 -
Kafka快速入门系列(13) | Flume对接Kafka
本篇博主带来的是Flume对接Kafka。目录1. Kafka与Flume比较2. Flume与kafka集成1. Kafka与Flume比较在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么: 1. flume:cloudera公司研发适合多个生产者;适合下游数据消费者不多的情况;适合数据安全性要求不高的操作;适合与Hadoop生态圈对接的操作。 2....原创 2020-05-24 09:37:28 · 5778 阅读 · 30 评论 -
Kafka快速入门系列(12) | Kafka Streams的简单介绍
本篇博主带来的是Kafka Streams的相关知识。目录1. 什么是Kafka Streams2. Kafka Streams特点3. 为什么要有Kafka Stream4. Kafka Stream数据清洗案例1. 需求2. 需求分析3. 案例实操1. 什么是Kafka Streams Kafka Streams。Apache Kafka开源项目的一个组成部分。是一个功能强大,易...原创 2020-05-23 09:02:41 · 6052 阅读 · 21 评论 -
Kafka快速入门系列(11) | Kafka中如何自定义Interceptor及其原理
本篇博主带来的是Kafka中如何自定义Interceptor及其原理。目录1. 拦截器(Interceptor)原理2. 自定义拦截器1. 需求2. 编写代码3. 运行结果1. 拦截器(Interceptor)原理 Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。 对于producer而言,int...原创 2020-05-22 09:14:40 · 6678 阅读 · 31 评论 -
Kafka快速入门系列(10) | Kafka的Consumer API操作
本篇博主带来的是Kafka的Consumer API操作。目录1. 手动提交offset2. 自动提交offset Consumer消费数据时的可靠性是很容易保证的,因为数据在Kafka中是持久化的,故不用担心数据丢失问题。 由于consumer在消费过程中可能会出现断电宕机等故障,consumer恢复后,需要从故障前的位置的继续消费,所以consumer需要实时记录自己消费到了哪...原创 2020-05-21 08:46:50 · 6375 阅读 · 28 评论 -
Kafka快速入门系列(9) | Kafka的Producer API操作
本篇博主带来的是Kafka的Producer API操作。目录1. 消息发送流程2. 无回调参数的API3. 带回调函数的API4. 同步发送API / 只是比异步多了一个.get()1. 消息发送流程 Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main线程和Sender线程,以及一个线程共享变量——RecordAccumul...原创 2020-05-20 10:25:29 · 6353 阅读 · 20 评论 -
Kafka快速入门系列(8) | Kafka的消费过程分析
本篇博主带来的是producer(生产者)的数据可靠性保证。目录1. 高级API1.高级API优点2.高级API缺点1. 低级API1.低级 API 优点2.低级API缺点3. 消费者组4. 消费方式5. 分区分配策略1. roundrobin2. range kafka提供了两套consumer API:高级Consumer API和低级Consumer API。1. 高级API...原创 2020-05-20 09:57:53 · 6306 阅读 · 22 评论 -
Kafka快速入门系列(7) | producer(生产者)的数据可靠性保证
本篇博主带来的是producer(生产者)的数据可靠性保证。目录1. 副本数据同步策略2. ISR3. ack应答机制4. 故障处理细节1. follower故障2. leader故障 为保证producer发送的数据,能可靠的发送到指定的topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确...原创 2020-05-19 09:01:39 · 6557 阅读 · 19 评论 -
Kafka快速入门系列(6) | Kafka生产过程的分析及分区策略
本篇博主带来的是Kafka生产过程的分析。目录1. 写入方式2. 分区(Partition)3. 副本(Replication)4. producer写入消息流程1. 写入方式 producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。2. 分...原创 2020-05-18 12:19:57 · 6551 阅读 · 22 评论 -
Kafka快速入门系列(5) | Kafka的工作流程及文件存储机制
本篇博主带来的是Kafka的工作流程及文件存储机制。目录一. Kafka的工作流程二. Kafka文件的存储机制一. Kafka的工作流程 1. Kafka开始部分 2. 创建topic 3.生产者往每一个partition-leader,其中所发数据为一批一批的发送(提高效率)follower为leader的备份,当leader挂掉的时候,follower替代挂掉的lea...原创 2020-05-18 09:14:03 · 6924 阅读 · 21 评论 -
Kafka快速入门系列(4) | 超好用的Kafka和zookeeper群起脚本(建议收藏!)
本篇博主带来的是Kafka和zookeeper群起脚本的创建与使用。目录一. Zookeeper1. 一键启动脚本2. 一键关闭脚本二. Kafka1. 启动2. 关闭 之前介绍过Kafka集群环境的搭建,但是细心的朋友们都发现,Kafka与ZooKeeper一样,都需要在每台节点上执行对应的开启/关闭脚本,十分的不方便。现在我们学习只用到了3台节点,如果以后到了企业,节点多了我们肯...原创 2020-05-17 08:20:20 · 7187 阅读 · 42 评论 -
Kafka快速入门系列(3) | Kafka常用脚本介绍及简单的shell操作
本篇博主带来的是Kafka常用脚本介绍及简单的shell操作。目录一. Kafka常用脚本二. 简单的shell操作一. Kafka常用脚本 至于怎样查看脚本,我们可以查看Kafka/bin目录,下图标记即为常用的脚本1.kafka-topics.sh:对topic进行增删改查2.kafka-server-start.sh:启动脚本3.kafka-server-stop.s...原创 2020-05-16 10:26:33 · 7904 阅读 · 44 评论 -
Kafka快速入门系列(2) | Kafka集群部署(超级简单!!!)
经过上篇的简单介绍,相信大家对Kafka有了初步的了解,本篇为博主带来的是Kafka的集群部署。需要的东西博主都已经打包上传到百度云了,如有需要的可以通过链接自取:链接:https://pan.baidu.com/s/1YtXgkt2430leNgCaNf2SLQ提取码:jnwl目录一. 环境准备1. 初始化环境准备二. Kafka集群部署一. 环境准备1. 初始化环境准备...原创 2020-05-16 08:53:59 · 7619 阅读 · 37 评论 -
Kafka快速入门系列(1) | Kafka的简单介绍(一文令你快速了解Kafka)
自Flume快速入门系列结束后,博主决定后面几篇博客为大家带来关于Kafka的知识分享作为快速入门Kafka系列的第一篇博客,本篇为大家带来的是Kafka的简单介绍。目录1. Kafka的定义2. 消息与消息队列2.1 传统消息队列的应用场景1. MQ传统应用场景之异步处理2. 流量消峰2.2 消息队列的两种模式1. 消息队列内部实现原理2 为什么需要消息队列3. 什么是Kafka4. Ka...原创 2020-05-15 10:29:28 · 7603 阅读 · 61 评论