Kafka安装配置 未完待续···

apache安装汇总:https://downloads.apache.org/

先安装zookeeper 

下载安装包解压到目录

linux命令

rz # 回车上传文件

cp 文件 位置

mv 文件 新名称

tar -zxvf zookeeper.tar.gz # 解压

cd 到conf,复制一份配置文件,vim修改

./zkServer.sh satrt 启动

jps安装:

# sudo yum install java-1.8.0-openjdk-devel.x86_64
 

kafka下载

Apache Kafka

 解压上传同上,配置文件/config/service.properties 

启动命令bin/kafka-server-start.sh config/server.properties

注意:这是旧版创建方法,新版已废弃

3.0后的新版:

bin/kafka-topics.sh --create --bootstrap-server master:9097 --replication-factor 1 --partitions 2 --topic test  不行

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 2 --topic test 不行

bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --partitions 2 --replication-factor 1 --topic news 行!!!!!!!!!!!create放服务后面


查看详情

启动消费端接收消息 localhost写固定ip 

生产端发送消息

linux先把防火墙关闭,开放对外访问的端口

http://t.csdnimg.cn/9ojle 参考

#开启防火墙
systemctl start firewalld

#开启2181(zk,如果需要向外连接zk则需要)
firewall-cmd --zone=public --add-port=2181/tcp --permanent 

#开启开启9092(kafka)
firewall-cmd --zone=public --add-port=9092/tcp --permanent

#重启防火墙
firewall-cmd --reload

#查看已经开放的端口 
firewall-cmd --list-ports

#查看是否开启成功
firewall-cmd --list-ports

若想去掉:

firewall-cmd --zone=public --remove-port=8080/tcp --permanent

然后重启

java配置后

DEBUG org.apache.kafka.common.network.Selector - [Producer clientId=producer-1] Connection with localhost/127.0.0.1 disconnected
java.net.ConnectException: Connection refused: no further information

报错情况:

虚拟机上服务器使用生产者和消费者以localhost可以发布消费消息,但是本机使用localhost报错!!!

解决方案:

设置kafka配置文件中的advertised.listeners属性!注意,该属性才是对应外网的监听属性!修改后:

# 允许外部端口连接                                            
listeners=PLAINTEXT://:9092  
# 外部代理地址                                                
advertised.listeners=PLAINTEXT://192.168.121.128:9092
192.168.121.128是我虚拟机服务器自己的地址,可使用ifconfig命令查看

同时,本地java程序生产者设置的bootstrap.servers对应值也改为:192.168.121.128:9092

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Apache Kafka 是一个分布式流处理平台,用于构建实时数据管道和消息队列系统。在 CentOS 上安装配置 Kafka 需要几个步骤,以下是基本的安装过程: 1. **安装Java**: Kafka依赖于Java,所以首先确保你的系统上安装了Java。如果没有,可以通过以下命令安装: ``` sudo yum install java-1.8.0-openjdk-devel -y ``` 2. **下载Kafka压缩包**: 从Apache官网(https://kafka.apache.org/downloads)下载适合的版本。例如,使用wget命令: ``` wget https://archive.apache.org/dist/kafka/2.9.1/kafka_2.12-2.9.1.tgz ``` 3. **解压并移动文件**: ``` tar -zxvf kafka_2.12-2.9.1.tgz sudo mv kafka_2.12-2.9.1 /opt/ ``` 4. **配置环境变量**: 将Kafka的bin目录添加到系统的PATH中: ``` echo 'export PATH=$PATH:/opt/kafka_2.12-2.9.1/bin' >> ~/.bashrc source ~/.bashrc ``` 5. **启动Zookeeper服务(可选,如果你没有安装)**: 如果集群包含Zookeeper节点,先启动它。否则略过这一步: ``` sudo systemctl start zookeeper sudo systemctl enable zookeeper ``` 6. **安装Kafka服务**: 进入Kafka目录并运行安装脚本: ``` cd /opt/kafka_2.12-2.9.1 ./bin/install.properties ``` 7. **配置Kafka**: 编辑`config/server.properties`文件以适应你的需求,比如设置监听端口、日志路径等。确保`listeners`属性配置了网络监听地址。 8. **启动Kafka服务**: ``` bin/kafka-server-start.sh config/server.properties ``` 9. **验证安装**: 使用`bin/kafka-topics.sh`命令检查是否能创建主题或查看现有主题。 10. **监控服务**: 使用`bin/kafka-control.sh`进行管理和监控。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值