Kafka
关注
分享
扫一扫
訾零
做喜欢的事，过玩味的生活。
展开
-
Flume 单节点安装连接 kafka
阿里镜像：flume1. 解压安装cd /opt/apps/tar -zxvf apache-flume-1.9.0-bin.tar.gzmv apache-flume-1.9.0-bin flume-1.9.02. 添加环境变量echo 'export FLUME_HOME=/opt/apps/flume-1.9.0' >> /etc/profile \...原创 2020-03-13 12:10:08 · 424 阅读 · 0 评论 -
Kafka Zookeeper 单节点测试
启动单节点Zookeeper Kafka，主要用来做测试使用。1. Zookeeper阿里镜像站这里以 zookeeper-3.4.14 为例1. 下载、上传、解压tar -zxvf zookeeper-3.4.14.tar.gzmv zookeeper-3.4.14 /opt/apps/2. 配置环境变量vim ~/.bashrc#zookeepe...原创 2020-01-13 14:33:20 · 423 阅读 · 0 评论 -
Kafka压力测试
使用用Kafka自带的脚本进行压力测试。测试平台：CDH6.2，Kafka2.1Kafka压测可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO），一般都是网络IO达到瓶颈。kafka-producer-perf-test.shkafka-consumer-perf-test.shKafka Producer压力测试/opt/cloudera/parcels/CDH...原创 2019-09-04 01:16:36 · 3172 阅读 · 0 评论 -
Kafka-shell常用操作
kafka 的shell操作(基于topic的增删改查 shell)目录1. 启动节点的Kafka进程 2. 创建topic 3. 查看已创建的所有topics 4. 查看指定topic详细信息 5. 开启生产者模式 6. 开启消费者模式 7. 查看分区偏移量 8. 增加topic分区数 9. 删除topic 10. 查看队列信息 11. 查看指定队列消费数据1....原创 2019-09-04 02:08:04 · 387 阅读 · 0 评论 -
Kafka删除Topic
CDH平台勾选 delete.topics.enable重启Kafka，否则Topic会标记为marked for deletion，重启才会真正删除。取消 auto.create.topics.enable如果有相关程序运行，如Flume，需要关闭自动创建。查看Topicskafka-topics.sh \--zookeeper cdh-master:...原创 2019-09-04 23:50:01 · 552 阅读 · 0 评论