![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
四月丶丶
越努力越幸运
展开
-
Kafka基于nginx_kafka_module 收集日志
1. 需要收集的信息1、用户ID(user_id)2、时间(act_time)3、操作(action,可以是:点击:click,收藏:job_collect,投简历:cv_send,上传简历:cv_upload)4、对方企业编码(job_code)2. 工作流程1、HTML可以理解为拉勾的职位浏览页面2、用户的操作会由Web服务器进行响应。3、同时用户的操作也会使用ajax向Nginx发送请求,nginx用于收集用户的点击数据流。4、Nginx收集的日志数据使用ngx_kafka_modu原创 2020-11-09 14:27:55 · 730 阅读 · 4 评论 -
Kafka集群搭建
搭建zookeeper集群参考:https://blog.csdn.net/rzpy_qifengxiaoyue/article/details/107879124创建集群安装目录mkdir -p /usr/local/kafka_cluster上传并解压Kafka# 解压到/opttar -zxf kafka_2.12-1.0.2.tgz -C /usr/local/kafka_cluster#文件夹重命名mv kafka_2.12-1.0.2 kafka01# 复制两.原创 2020-11-08 21:08:49 · 79 阅读 · 0 评论 -
Kafka消费者流程分析
文章目录1. 消费者、消费组2. 消费再均衡及心跳机制3. 消费者参数配置4 消息订阅5. 反序列化6. 位移提交6.1 自动提交6.2 手动同步提交6.3 手动异步提交7. 消费者位移管理8. 消费者拦截器9. 消费组管理9.1 消费者组特性9.2 如何进行组内分区分配?9.3 谁来执行再均衡和消费组管理?9.4 如何确定coordinator?9.5 Rebalance Generation9.6 协议(protocol)9.7 liveness9.8 再均衡过程9.9 消费组状态机1. 消费者、原创 2020-11-06 18:14:14 · 1040 阅读 · 0 评论 -
Kafka 生产者消息发送流程
1. 数据生产流程解析Producer创建时,会创建一个Sender线程并设置为守护线程。生产消息时,内部其实是异步流程;生产的消息先经过拦截器->序列化器->分区器,然后将消息缓存在缓冲区(该缓冲区也是在Producer创建时创建)。批次发送的条件为:缓冲区数据大小达到batch.size或者linger.ms达到上限,哪个先达到就算哪个。批次发送后,发往指定分区,然后落盘到broker;如果生产者配置了retrires参数大于0并且失败原因允许重试,那么客户端内部会对该消息进行重原创 2020-11-06 14:07:27 · 1481 阅读 · 2 评论 -
Kafka核心概念
文章目录1. Producer 生产者2. Consumer 消费者3. Broker4. Topic 主题5. Partition 主题分区6. Replicas 主题副本7. Offset 消息偏移量8. 副本8.1 AR8.2 ISR8.3 OSR8.4 HW8.5 LEO1. Producer 生产者生产者创建消息。该角色将消息发布到Kafka的topic中。broker接收到生产者发送的消息后,broker将该消息追加到当前用于追加数据的 segment 文件中。一般情况下,一个消息会被发原创 2020-11-06 11:05:53 · 137 阅读 · 0 评论 -
Kafka入门经典教程
1.Kafka独特设计在什么地方?2.Kafka如何搭建及创建topic、发送消息、消费消息?3.如何书写Kafka程序?4.数据传输的事务定义有哪三种?5.Kafka判断一个节点是否活着有哪两个条件?6.producer是否直接将数据发送到broker的leader(主节点)?7.Kafa consumer是否可以消费指定分区消息?8.Kafka消息是采用Pull模式,还是Push模式?9.Procuder API有哪两种?10.Kafka存储在硬盘上的消息格式是什么?转载 2017-01-04 11:08:04 · 325 阅读 · 0 评论