kafka安装配置

tar -xzvf kafka_2.11-0.8.2.1.tgz #解压

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移动到安装目录

配置:只需要修改server.properties

配置brokerid:broker.id=1

配置监听:listeners=PLAINTEXT://192.168.1.220:9092

配置日志目录;log.dirs=/home/dzb/logs/kafka-s1

配置日志保存时间:log.retention.hours=24

zookeeper连接配置:zookeeper.connect=192.168.1.220:2181

启动: ./kafka-server-start.sh ../config/server.properties 

关闭:./kafka-server-stop.sh 

创建topic: ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic cloud_web_msg

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --config retention.ms=3600000 --topic cloud_web_msg

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic productPublish --from-beginning

kafka-console-producer.sh --broker-list localhost:9092 --topic productPublish

kafka-topics.sh --zookeeper localhost:2181 --delete --topic  productPublish

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic productPublish

kafka-topics.sh --list --zookeeper localhost:2181

参看消费情况

./kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group wxb_other_alarm_message

查看消费记录

./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic SEND_TO_MAINTENANCE_TOPIC --from-beginning|grep '8f404e2f-81e4-47a6-a709-37e8b6477fe1'

Apache Kafka 是一个分布式流处理平台,用于构建实时数据管道和消息队列系统。在 CentOS 上安装配置 Kafka 需要几个步骤,以下是基本的安装过程: 1. **安装Java**: Kafka依赖于Java,所以首先确保你的系统上安装Java。如果没有,可以通过以下命令安装: ``` sudo yum install java-1.8.0-openjdk-devel -y ``` 2. **下载Kafka压缩包**: 从Apache官网(https://kafka.apache.org/downloads)下载适合的版本。例如,使用wget命令: ``` wget https://archive.apache.org/dist/kafka/2.9.1/kafka_2.12-2.9.1.tgz ``` 3. **解压并移动文件**: ``` tar -zxvf kafka_2.12-2.9.1.tgz sudo mv kafka_2.12-2.9.1 /opt/ ``` 4. **配置环境变量**: 将Kafka的bin目录添加到系统的PATH中: ``` echo 'export PATH=$PATH:/opt/kafka_2.12-2.9.1/bin' >> ~/.bashrc source ~/.bashrc ``` 5. **启动Zookeeper服务(可选,如果你没有安装)**: 如果集群包含Zookeeper节点,先启动它。否则略过这一步: ``` sudo systemctl start zookeeper sudo systemctl enable zookeeper ``` 6. **安装Kafka服务**: 进入Kafka目录并运行安装脚本: ``` cd /opt/kafka_2.12-2.9.1 ./bin/install.properties ``` 7. **配置Kafka**: 编辑`config/server.properties`文件以适应你的需求,比如设置监听端口、日志路径等。确保`listeners`属性配置了网络监听地址。 8. **启动Kafka服务**: ``` bin/kafka-server-start.sh config/server.properties ``` 9. **验证安装**: 使用`bin/kafka-topics.sh`命令检查是否能创建主题或查看现有主题。 10. **监控服务**: 使用`bin/kafka-control.sh`进行管理和监控。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值