kafka专栏
文章平均质量分 86
猿来如此dj
目前西安工作-航天宏图公司大数据开发工程师,欢迎大家交流。
展开
-
(一)kafka官方文档学习
kafka官方0.10版文档学习官方文档1:入门基础1.1:基础知识1.1.1:kafka的作用1:建立实时流数据管道,以可靠地在系统或应用程序之间获取数据2:构建实时流应用程序,以转换或响应数据流1.1.2:基本概念1:Kafka在一个或多个服务器上作为集群运行。2:Kafka集群将记录流存储在称为主题的类别中。3:每个记录由一个键,一个值和一个时间戳组成。1.1.3:......原创 2020-02-29 21:54:04 · 7887 阅读 · 3 评论 -
(二)kafka的事务性和幂等性
Exactly-Once,仅仅靠 Kafka 是无法做到的,还需要应用本身做相应的容错设计,以 Flink 为例,其容错设计就是 checkpoint 机制,作业保证在每次 checkpoint 成功时,它之前的处理都是 Exactly-Once 的,如果中间作业出现了故障,恢复之后,只需要接着上次 checkpoint 的记录做恢复即可,对于失败前那个未完成的事务执行回滚操作(abort)就可以了,这样的话就是实现了 Flink + Kafka 端到端的 Exactly-Once。...原创 2022-08-04 14:42:38 · 1039 阅读 · 0 评论 -
(四)Kafka 的 Shell 操作汇总
8、Kafka 的各种 Shell 操作**1、启动集群每个节点的进程:**sh start-kafka-all.sh**2、创建 topic**kafka-topics.sh \--create \--zookeeper hadoop02:2181,hadoop03:2181,hadoop04:2181 \--replication-factor 3 \--partitions...原创 2019-12-11 20:20:29 · 424 阅读 · 0 评论 -
(五)kafka偏移量管理以及监控总结
kafka偏移量管理基本概念spark streaming 的偏移量管理offset 管理原创 2019-12-11 23:06:10 · 1893 阅读 · 0 评论 -
(六)kafka1.0新版的生产者和消费者demo以及源码
kafka的生产者和消费者1:生产者private static Properties props=null; static { props = new Properties(); props.put("bootstrap.servers"," hdp01:9092,hdp02:9092,hdp03:9092"); /**Set ac...原创 2019-12-19 16:15:15 · 1010 阅读 · 0 评论 -
(七)kafka 1.X新版本参数配置及优化
kafka新版本的配置文件0.10版本以后的配置文件1:producerbootstrap.servers= host1:port1,host2:port2 建立与Kafka集群的初始连接的主机/端口对列表,不需要完整列表key.serializer= 实现Serializer接口的键的Serializer类。value.serializer= 实现Serializer接口的值的Serializer类。acks=[0,1,all] 生产者要求领原创 2020-06-09 12:38:13 · 703 阅读 · 0 评论 -
(八)kafka的性能测试
kafka的压力测试压力测试都是针对整个集群的,如果想测试单节点的性能,可以创建topic指定分区都在同一节点进行测试1:生产者压测kafka-topics-perf-test.sh --topic test --num-records 100000 --record-size 1000 --throughput -1 --producer.config ../config/producer.properties --num-records:生产的条数 --record-size每条消息的大小,原创 2020-06-13 18:04:22 · 1844 阅读 · 2 评论 -
(九)kafka面试问题汇总
kafka面试问题汇总1:kafka的配置如何数据盘:6块8T的数据盘,由12块raid1组成。内存256G。2:kafka的吞吐量为什么高包括生产者和消费者两面优势2.1生产者方面1:顺序读写topic以分区partition存放,每条消息都有一个偏移量,每个partition是一个文件存放在硬盘上。所以写入时消息是根据偏移量不断追加到文件中的。不需要硬盘磁头的寻道时间,所以速度远快于随机读写,甚至和内存读写媲美。缺点就是不允许删除消息。所以为了避免存储压力:Kakfa提供了两种策略来删原创 2020-07-15 17:55:33 · 312 阅读 · 0 评论 -
(十)kafka常见问题汇总
1:kafka问题总结1:消费者消费消息失败查看topic的副本同步机制是否一致kafka-topics.sh --describe --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 --topic kafka_testHW俗称高水位,HighWatermark的缩写,取一个partition对应的ISR中最小的LEO作为HW,consumer最多只能消费到HW所在的位置。另外每个replica都有HW,leader和follower各自负责更新自己的HW原创 2020-08-31 10:50:26 · 7552 阅读 · 7 评论 -
kafka实战1:消费者将消息打包到zip文件中
利用kafka消费者将消息打包到zip文件中说明:利用消息数和时间进行文件颗粒度控制,多线程写数据到zip,注意考虑线程的安全性。1:核心代码//存放消息的queueprivate Queue<BSONObject> queue=new ConcurrentLinkedDeque();//构造消费者 public consumer() { Input...原创 2020-04-28 20:13:53 · 526 阅读 · 2 评论