Kafka
文章平均质量分 50
小靳一族
一切只为心中那不变的永恒!!
展开
-
kafka学习--07(扩展)
1 Kafka与Flume比较在企业中必须要清楚流式数据采集框架flume和kafka的定位是什么:flume:cloudera公司研发:适合多个生产者;适合下游数据消费者不多的情况;适合数据安全性要求不高的操作;适合与Hadoop生态圈对接的操作。kafka:linkedin公司研发:适合数据下游消费众多的情况;适合数据安全性要求较高的操作,支持replication。因此我们常用的一种模型是:线上数据 --> flume --> kafka --> flume(根原创 2021-01-01 15:44:11 · 156 阅读 · 0 评论 -
kafka学习--06(Kafka Stream数据清洗案例)
0)需求:实时处理单词带有”>>>”前缀的内容。例如输入”atguigu>>>ximenqing”,最终处理成“ximenqing”1)需求分析:2)案例实操(1)创建一个工程,并添加jar包 <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-streams --> <dependency> <groupId>org.apache.kaf原创 2021-01-01 15:35:11 · 217 阅读 · 0 评论 -
kafka学习--05(拦截器)
1 拦截器原理Producer拦截器(interceptor)是在Kafka 0.10版本被引入的,主要用于实现clients端的定制化控制逻辑。对于producer而言,interceptor使得用户在消息发送前以及producer回调逻辑前有机会对消息做一些定制化需求,比如修改消息等。同时,producer允许用户指定多个interceptor按序作用于同一条消息从而形成一个拦截链(interceptor chain)。Intercetpor的实现接口是org.apache.kafka.client原创 2021-01-01 15:06:57 · 121 阅读 · 0 评论 -
kafka学习--04(消费者低级API)
实现使用低级API读取指定topic,指定partition,指定offset的数据。1)消费者使用低级API 的主要步骤:步骤 主要工作1 根据指定的分区从主题元数据中找到主副本2 获取分区最新的消费进度3 从主副本拉取分区的消息4 识别主副本的变化,重试2)方法描述:findLeader() 客户端向种子节点发送主题元数据,将副本集加入备用节点getLastOffset() 消费者客户端发送偏移量请求,获取分区最近的偏移量run() 消费者低级AP I拉取消息的主要方法findNe原创 2021-01-01 14:38:29 · 236 阅读 · 0 评论 -
kafka学习--03(消费者API)
1)启动 zk集群、kafka集群[root@192 zookeeper-3.4.10]$ bin/zkServer.sh start[root@k8smaster kafka]$ bin/kafka-console-producer.sh --broker-list 192.168.138.132:9092 --topic first [root@k8smaster kafka]$ bin/kafka-console-producer.sh --broker-list 192.168.138.132原创 2021-01-01 13:38:13 · 126 阅读 · 0 评论 -
Kafka学习--02(生产者API)
1)启动 zk集群、kafka集群,在kafka集群中打开一个消费者 [root@192 zookeeper-3.4.10]$ bin/zkServer.sh start [root@k8smaster kafka]$ bin/kafka-console-producer.sh --broker-list 192.168.138.132:9092 --topic first [root@k8snode1 kafka]# bin/kafka-console-consumer.sh --原创 2021-01-01 13:24:05 · 117 阅读 · 0 评论 -
Kafka学习-01(基本概述、搭建及原理)
Kafa1.概述1.1 消息队列Queue(先进先出)(1)点对点模式(一对一,消费者主动拉取数据,消息收到后消息清除)(2)发布/订阅模式(一对多,数据生产后,推送给所有订阅者)为什么需要消息队列?解耦、冗余、扩展性、灵活性与峰值处理能力、可恢复性、顺序保证、缓冲、异步通信1.2 Kafka分布式消息队列,集群;由Scala写成 kafka_2.11-0.11.0.2.tgz 2.11是Scale的版本kafka集群、consumer依赖于zookeeper集群保存meta信息,原创 2021-01-01 12:21:52 · 205 阅读 · 0 评论