Kafka
Yannick_J
Yes-亚历山大的陀螺
展开
-
在进行KAFKA + Flink流测试时,我为什么很少看到磁盘读操作
Kafka读写空中接力(Flying on Air)当Producer push消息到Broker发生写操作时,Broker只是将数据写入Page Cache中,并将该页置上dirty标志。 当Consumer 从Broker pull消息发生读操作时,Broker会首先在Page Cache中查找内容,如果有就直接返回了,没有的话就会从磁盘读取文件再写回Page Cache。 可见,只要...原创 2020-11-13 17:18:35 · 160 阅读 · 0 评论 -
Kafka工作流程分析
3.1 Kafka生产过程分析参考Kafka架构3.1.1 写入方式producer采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率),也就是说broker接收到消息后一定会写磁盘。3.1.2 分区(Partition)消息发送时都被发送到一个top...转载 2020-01-02 18:34:43 · 172 阅读 · 0 评论 -
测试flink实时流系列(六):测试总结
一、DataGen发包服务器可以用多个脚本(HiBench/bin/workloads/streaming/repartition/prepare/dataGen.sh)来发起多个进程来发包,但并不是越多进程越好。因为进程(java)本身也要消耗CPU/MEM,所以要根据自己的平台来适配。TX2 服务器上测试中发现,4个进程即可以达到最优。如果起16/32/48个进程,反而性能下降。二、用...原创 2019-12-10 16:40:19 · 352 阅读 · 0 评论 -
测试flink实时流系列(五):flink实时流测试问题总汇
一、ZooKeeper错误1. 启动ZK集群后,./zkServer.sh status 查询状态显示“Error contacting service. It is probably not running.”问题描述:三台ZK节点组成的集群,每个节点运行./zkServer.sh start后,用zkServer.sh status查询ZK集群状态,显示如下:$ ./zkServ...原创 2019-12-09 14:35:17 · 1412 阅读 · 0 评论 -
测试flink实时流系列(四):kafka服务器上查看flink实时流测试结果
一、登录kafka集群的节点1. 安装和配置HiBench这部分请参考测试flink实时流系列(二):搭建DataGen数据生成节点服务器(Hadoop + HiBench)2. 进入HiBench目录,运行脚本抓取前面kafka log 的测试结果,例如,repartition case如下:./bin/workloads/streaming/repartition/commo...原创 2019-12-10 13:46:46 · 363 阅读 · 0 评论 -
测试flink实时流系列(一):搭建ZK+Kafka集群
一、集群主机列表:10.110.169.104 Kafka+ZooKeeper (小网IP:1.17.1.45)10.110.169.75 Kafka+ZooKeeper (小网IP:1.17.1.115)10.110.169.76 Kafka+ZooKeeper 目前没配小网 二、下载Kafka/Zookeeper软件:#wget http...原创 2019-12-10 16:17:37 · 477 阅读 · 0 评论 -
了解和安装Kafka/Zookeeper
一、前言:zookeeper版本: zookeeper-3.4.12kafka版本: kafka_2.11-2.0.0发布订阅系统:主题,经纪人,生产者和消费者等主要术语在上图中,主题配置为三个分区。 分区1具有两个偏移因子0和1.分区2具有四个偏移因子0,1,2和3.分区3具有一个偏移因子0.副本的id与承载它的服务器的id相同。 二、安装后启动1.启动命...原创 2018-12-06 16:28:35 · 188 阅读 · 0 评论