kafka单机部署

Kafka环境

单机服务器, topic:test

解压

  tar -xzf kafka_2.11-0.10.2.0.tgz

  cd kafka_2.11-0.10.2.0

启动zookeeper

1.zookeeper服务QuorumPeerMain(法定进程)(jps查看是否启动)

2.Zookeeper的客户端端口(默认2181)可以在zookeeper.properties中配置,与server(broker),消费者配置文件的zookeeper客户端端口一致。此处生产者,消费者的配置文件只是为了kafka命令行测试。

 nohupbin/zookeeper-server-start.sh config/zookeeper.properties &

一直有日志输出,不能结束端口,于是将zookeeper进程变成守护进程,使其与当前session分离,当前session结束不会影响zookeeper进程。

启动kafka

可以使用jps查看kafka进程是否启动

nohup bin/kafka-server-start.sh config/server.properties &

nohup+& 使kafka进程变成守护进程。

创建一个示例topic test

需要指定zookeeper集群,topic的名字,分区个数,分区的副本等

bin/kafka-topics.sh --create --zookeeper localhost:2181--replication-factor 1 --partitions 1 --topic test

表示一个分区,一个副本

查看所有的topic

 bin/kafka-topics.sh --list --zookeeper localhost:2181

test

启动生产者

指定生产者的broker,toipc等

 bin/kafka-console-producer.sh --broker-list localhost:9092 --topictest

This is a messageThis is another message

启动消费者

指定消费者的bootstrap-server(引导程序服务器),toipc等,如果没有指明从最开始开始消费,则从最近消费的地方开始消费。

 bin/kafka-console-consumer.sh --bootstrap-server localhost:9092--topic test --from-beginning

This is a message

This is another message

备注:直接运行脚本可以看到输出,显示需要哪些必须的参数,参数的定义等。

总结:

1.  其实搭建一个环境都大同小异

2.  要知道用jps查看java进程

3.  kill杀死进程,用pkill批量杀死进程

4.  netstat查看进程的网络情况

5.  ps -ef查看进程的具体信息

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要在单机部署Docker Kafka,您可以按照以下步骤进行操作: 1. 首先,确保您已经安装了Docker和Docker Compose。您可以使用以下命令检查它们的安装情况: - `docker --version`:检查Docker的版本 - `docker-compose --version`:检查Docker Compose的版本 2. 如果您尚未安装Docker Compose,您可以按照官方文档提供的步骤进行安装。您可以使用以下命令下载并安装Docker Compose: - `sudo curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-Linux-x86_64" -o /usr/local/bin/docker-compose` - `sudo chmod +x /usr/local/bin/docker-compose` 3. 创建一个名为`docker-compose.yml`的文件,并在其中定义Kafka服务。您可以使用以下示例作为参考: ``` version: '3' services: zookeeper: image: confluentinc/cp-zookeeper:6.2.0 ports: - "2181:2181" environment: - ZOOKEEPER_CLIENT_PORT=2181 kafka: image: confluentinc/cp-kafka:6.2.0 ports: - "9092:9092" environment: - KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 - KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://kafka:9092 - KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR=1 ``` 4. 使用以下命令启动Kafka服务: - `docker-compose up -d` 5. 您可以使用以下命令检查Kafka容器的运行状态: - 使用Compose命令:`docker-compose ps` - 使用Docker命令:`docker ps` 6. 现在,您的Docker Kafka单机部署已经完成。您可以使用以下命令连接到Kafka容器并执行相关操作: - `docker exec -it kafka bash`:连接到Kafka容器的命令行界面 - `cd /opt/kafka_2.13-2.7.0`:进入Kafka安装目录 - `./bin/kafka-console-consumer.sh --bootstrap-server kafka:9092 --topic test001 --from-beginning`:启动Kafka消费者并订阅名为`test001`的主题,从开头开始消费消息 请注意,上述步骤中的命令和配置可能需要根据您的实际环境和需求进行调整。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值