![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop-Kafka
kafka消息组件管理
戒掉贪嗔痴(薛双奇)
10年以上DBA从业经验,Oracle ACE,中国DBA联盟成员,青学会专家顾问,Oracle,MySQL,PostgreSQL DBA,大数据运维工程师。
熟悉20种数据库的运维及管理:横跨关系数据库,NoSQL数据库,搜索引擎,大数据等。
获得IT类认证十几张。
擅长数据库系统架构涉及,容量规划,灾备系统建设,故障诊断及性能优化。
展开
-
【kafka】kafka-producer-perf-test.sh
由此可见, kafka-producer-perf-test.sh 工具进行性能测试,只是无脑写入,没有任何规范。仅仅只是测试了,写入性能。3.生产者和消费者属性查看。4.kafka服务端参数。1.kafka性能测试。原创 2024-07-01 12:29:06 · 103 阅读 · 0 评论 -
【kafka】查看kafka消息队列文件
每个topic由4种文件组成.log,存储具体接收的数据,index /timeindex 里面是空的。leader-epoch-checkpoint leader的检查点信息。1.插件kafka消息队列文件。原创 2024-07-01 12:11:07 · 183 阅读 · 0 评论 -
【kafka】kafka 日常运维
kafka在进行消费时,我们给消费者指定具体的名称,这样方便分辨。不建议使用默认的消费者组。因为其无法进行分分辨具体的消费者。4.启动某个topic的生产者:topic2。9.消费时指定消费者组的名称"汉字消费者组"8.查看某个消费者的消费位置。7.查询消费组列表。原创 2024-07-01 12:00:13 · 211 阅读 · 0 评论 -
【kafka】通过filebeat将nginx的日志数据推送到logstash,再由Logstash将数据推送到Kafka消息队列
filebeat将nginx的数据抽取到推送到logstash的beats插件;--zookeeper安装。zookeeper是kafka安装包自带的,伪集群。7.配置filebeat抽取nginx的数据到logstash;logstash将filebeat的输入推送到kafka。5.配置nginx-to-kafka。2.检查Logstash 插件。8.启动filebeat;10.nginx写入数据。11.kafka查看数据。1.kafka环境准备。原创 2024-07-01 11:23:21 · 121 阅读 · 0 评论