kafka-01部署启动

已于 2022-03-04 09:22:55 修改
阅读量718 收藏 3
点赞数
分类专栏： kafka 文章标签： kafka
于 2022-02-22 15:16:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45987292/article/details/122666701
版权

kafka的启动

补充：
查看版本号 find ./libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

方式：

  1. kafka自带的zookeeper服务
//默认启动方式是前台启动，当关闭当前的命令行窗口，进程会被关闭
# ./bin/zookeeper-server-start.sh ./config/zookeeper.properties
//后台启动命令
# nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &
或
# ./bin/zookeeper-server-start.sh -daemon ./config/zookeeper.properties
//"-daemon" 参数代表以守护进程的方式启动kafka server

nohup ./bin/kafka-server-start.sh ./config/server.properties & //启动kafka

//查看端口号是否监听
lsof -i:2181  //zookeeper端口
lsof -i:9092  //kafka 端口
  • 常用命令:

./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test //创建topic

./bin/kafka-topics.sh --describe  --zookeeper localhost:2181 --topic test 

./bin/kafka-topics.sh --list --zookeeper localhost:2181
  1. 单独的zookeeper服务
    注意：一定要将kafka自带的zookeeper进程和kafka进程停止
./zkServer.sh start /root/zookeeper/conf/zoo.cfg //启动zookeeper
./zkServer.sh status /root/zookeeper/conf/zoo.cfg
./zkServer.sh stop /root/zookeeper/conf/zoo.cfg

nohup ./bin/kafka-server-start.sh ./config/server.properties & //启动kafka

检查：

# lsof -i:2181
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18676 root   53u  IPv6 561661      0t0  TCP *:eforward (LISTEN)

# lsof -i:9092
COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    18968 root  154u  IPv6 561700      0t0  TCP server-1:XmlIpcRegSvc (LISTEN)
java    18968 root  173u  IPv6 558773      0t0  TCP server-1:36496->server-1:XmlIpcRegSvc (ESTABLISHED)
java    18968 root  174u  IPv6 561707      0t0  TCP server-1:XmlIpcRegSvc->server-1:36496 (ESTABLISHED)

kafka单机部署

  1. 下载kafka
    下载地址：kafka
    在这里插入图片描述
    其中Scala 2.13是编译器及其版本，3.1.0是kafka版本，下载编译器是2.13版本的
    上传到服务器中，重命名为kafka，给权限

  2. 启动zookeeper
    Kafka依赖于ZooKeeper，所以需要先启动一个ZooKeeper服务器

    zookeeper配置是 config目录下的zookeeper.properties，默认端口 2181
    启动命令：nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &，启动后可后台运行zookeeper
    命令：ps -ef | grep zookeeper 查看zookeeper是否启动成功

配置文件：
dataDir=/kafka/zookeeper  
# the port at which the clients will connect
clientPort=2181
# disable the per-ip limit on the number of connections since this is a non-production config
maxClientCnxns=0
# Disable the adminserver by default to avoid port conflicts.
# Set the port to something non-conflicting if choosing to enable this
admin.enableServer=false
  1. 启动kafka
    在config目录下提供了kafka的配置文件server.properties。为了保证可以远程访问Kafka，需要修改两处配置。
listeners=PLAINTEXT://:9092   //去掉注释
advertised.listeners=PLAINTEXT://your.host.name:9092 //去掉注释并修改

broker.id=0
log.dirs=/kafka/kafka-logs  
zookeeper.connect=localhost:2181
# zookeeper.connect=localhost:2181,*:2181,*:2181

启动kafka： nohup ./bin/kafka-server-start.sh ./config/server.properties &
查看：ps -ef | grep kafka

  1. 常用命令
//zookeeper启动
nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &

//kafka启动
nohup ./bin/kafka-server-start.sh ./config/server.properties &

//创建topic
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

//查看topic列表
./bin/kafka-topics.sh --list --zookeeper localhost:2181

//查看描述topic信息 
./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

//创建生产者 
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

//创建消费者
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

zookeeper与bootstrap-server
在 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）中

[使用zk] --zookeeper localhost:2181
[使用内置] --bootstrap-server localhost:9092

官方推荐如果kafka版本大于等于2.2使用–bootstrap-serverlocalhost:9092 替代–zookeeper localhost:2181 （2.2以上也兼容–zookeeper）命令如下

kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test1

如果kafka版本小于2.2则命令如下

kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

注意：2181是ZooKeeper的监听端口，9092是Kafka的监听端口。

旧版用–zookeeper参数，主机名（或IP）和端口用ZooKeeper的，也就是server.properties文件中zookeeper.connect属性的配置值

新旧用–bootstrap-server参数，主机名（或IP）和端口用某个节点的即可，即主机名（或主机IP）:9092

对于消费者，kafka中有两个设置的地方：对于老的消费者，由–zookeeper参数设置；对于新的消费者，由–bootstrap-server参数设置
如果使用了–zookeeper参数,那么consumer的信息将会存放在zk之中

查看的方法是使用./zookeeper-client,然后 ls /consumers/[group_id]/offsets/[topic]/[broker_id-part_id],这个是查看某个group_id的某个topic的offset

如果使用了–bootstrap-server参数,那么consumer的信息将会存放在kafka之中

对于console生产者，--broker-list参数指定了所使用的broker

bin目录包含了很多运维可操作的shell脚本

脚本名称用途描述
connect-distributed.sh连接kafka集群模式
connect-standalone.sh连接kafka单机模式
kafka-acls.shtodo
kafka-broker-api-versions.shtodo
kafka-configs.sh配置管理脚本
kafka-console-consumer.shkafka消费者控制台
kafka-console-producer.shkafka生产者控制台
kafka-consumer-groups.shkafka消费者组相关信息
kafka-consumer-perf-test.shkafka消费者性能测试脚本
kafka-delegation-tokens.shtodo
kafka-delete-records.sh删除低水位的日志文件
kafka-log-dirs.shkafka消息日志目录信息
kafka-mirror-maker.sh不同数据中心kafka集群复制工具
kafka-preferred-replica-election.sh触发preferred replica选举
kafka-producer-perf-test.shkafka生产者性能测试脚本
kafka-reassign-partitions.sh分区重分配脚本
kafka-replay-log-producer.shtodo
kafka-replica-verification.sh复制进度验证脚本
kafka-run-class.shtodo
kafka-server-start.sh启动kafka服务
kafka-server-stop.sh停止kafka服务
kafka-simple-consumer-shell.shdeprecated，推荐使用kafka-console-consumer.sh
kafka-streams-application-reset.shtodo
kafka-topics.shtopic管理脚本
kafka-verifiable-consumer.sh可检验的kafka消费者
kafka-verifiable-producer.sh可检验的kafka生产者
trogdor.shtodo
zookeeper-security-migration.shtodo
zookeeper-server-start.sh启动zk服务
zookeeper-server-stop.sh停止zk服务
zookeeper-shell.shzk客户端

查看topic状态

# ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test1
Topic: test1	PartitionCount: 4	ReplicationFactor: 2	Configs: 
	Topic: test1	Partition: 0	Leader: 1	Replicas: 1,3	Isr: 1
	Topic: test1	Partition: 1	Leader: 2	Replicas: 2,1	Isr: 2,1
	Topic: test1	Partition: 2	Leader: none	Replicas: 3,2	Isr: 2
	Topic: test1	Partition: 3	Leader: 2	Replicas: 1,2	Isr: 2,1

状态说明：test1有八个分区，两个副本，分区1的leader是2（broker.id），分区2有两个副本，并且状态都为lsr（ln-sync，表示可以参加选举成为leader）。

m0_45987292
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka-manager-1.3.3.7.zip
12-05
说明：kafka-manager 自己下载编译速度巨慢，此资源是编译好的 kafka-manager，版本是：kafka-manager-1.3.3.7（适用于较新的版本，kafka版本是kafka_2.11-2.0.1）。 安装配置说明： 1. 里头有个自己写的启动脚本，默认端口号是8080 若是需要修改启动端口则需要修改start.sh 配置文件启动端口。 2. start.sh 可能没有执行权限，需要添加执行权限: sudo chmod u+x start.sh 3. 默认安装部署在kafka 部署环境，若是需要部署在其他单独的机器则需要配置conf/application.conf 4. 启动之后访问被拒绝，先查看IP端口能不能平通。使用telnet ip port 去检测。 哈哈，本人已经搭建出来了，下载资源的你祝好~
Kafka生产者守护进程Bruce.zip
07-17
Bruce 是 Apache Kafka 的生产者守护进程，它简化了客户端发送消息到 Kafka ，无需关注后端的 Kafka 集群。Bruce 主要处理： Routing messages to the proper brokers, and spreading the load evenly across multiple partitions for a given topic Waiting for acknowledgements, and resending messages as necessary due to communication failures or Kafka-reported errors Buffering messages to handle transient load spikes and Kafka-related problems Tracking message discards when serious problems occur; Providing web-based discard reporting and status monitoring interfaces Batching and compressing messages in a configurable manner for improved performance Bruce runs on each individual host that communicates with Kafka, receiving messages from local clients over a UNIX domain datagram socket. Clients write messages to Bruce's socket in a simple binary format. Once a client has written a message, no further interaction with Bruce is required. From that point onward, Bruce takes full responsibility for reliable message delivery. Bruce serves as a single intake point for a Kafka cluster, receiving messages from diverse clients regardless of what programming language a client is written in. Client code is currently available in C, C , Java, Python, and PHP. Code contributions for clients in other programming languages are much appreciated. Technical details on how to send messages to Bruce are provided here. Bruce runs on Linux, and has been tested on CentOS versions 7 and 6.5, and Ubuntu versions 14.04.1 LTS and 13.10. Bruce requires at least version 0.8 of Kafka. 标签：Bruce
Kafka入门笔记(二) --kafka常用命令
qq_34424698的博客
01-23 545
kafka常用命令
Kafka 迁移工具 MirrorMaker2 原理起底
最新发布
AutoMQ的博客
04-16 1018
因为 OffsetSync 没有按照时间间隔同步的逻辑，导致的结果就是当前分区最新的消息位点距离上一次同步的位点如果没有超过 100，则不会生成新的 OffsetSync。记录在 OffsetSync 消息中的位点映射信息是非常必要的，首先一条消息从源集群被同步到目标集群上，前后的 offset 大概率是不同的，而且还有可能会出现消息重复和多个源集群的 topic 被同步到一个目标 topic 上的情况，而位点映射能最大程度上帮助我们将源集群的消息和目标集群的消息对应上。
多守护进程使用 kafka 注意事项（更新中）
潘广宇的博客
01-21 1174
问题1：消息处理问题 存在两个守护进程，如果需要A、B两个守护进程每次获取的消息是一样的，则只需要使用同一个group_id读取同一个分区即可。 如果只读取一个分区，则两个守护进程会同时获取相同的信息，比如生产者在一个topic生产了信息1,2,3,4,5,6，则两个守护进程都会同时获取到1,2,3,4,5,6 如果希望两个守护进程是同时消费，也就是不会重复消费，这时候需要修改topic的分区，改成多个分区，比如2 /usr/local/kafka/bin/kafka-topics.sh --al
【kafka集群搭建+监控+启动守护线程 超详细】
weixin_45273750的博客
12-17 2410
kafka 1.下载 链接：https://pan.baidu.com/s/1XVFekzTc9W4nUkiWQnIi4A 提取码：roik 2.安装 2.1解压 tar -zxvf kafka_2.12-2.0.0.tgz mv kafka_2.12-2.0.0 kafka 2.2 配置环境变量 vi /etc/profile 内容如下： export KAFKA_HOME=/usr/local/software/kafka export PATH=$PATH:$KAFKA_HOME/bin 配置
zookeeper启动命令及kafka
m0_62044358的博客
04-22 2672
1、启动zookeeper。2、关闭zookeeper。
Kafka安装部署启动
weixin_43558205的博客
02-21 186
Kafka安装部署启动 上传压缩包（压缩包自己去下载吧：http://kafka.apache.org/downloads） 解压安装包 tar -zxvf /opt/software/kafka_2.11-2.4.1.tgz -C /opt/module/ 修改解压后的文件名称 mv /opt/module/kafka_2.11-2.4.1/ /opt/module/kafka 在/opt/module/kafka目录下创建logs文件夹 mkdir logs 修改配置文件 vim
Kafka入门的简单部署
Rose1645的博客
05-25 683
问题导读1.Kafka独特设计在什么地方？2.Kafka如何搭建及创建topic、发送消息、消费消息？3.如何书写Kafka程序？4.数据传输的事务定义有哪三种？5.Kafka判断一个节点是否活着有哪两个条件？6.producer是否直接将数据发送到broker的leader(主节点)？7.Kafa consumer是否可以消费指定分区消息？8.Kafka消息是采用Pull模式，还是Push模式？...
Kafka 配置与启动
12-01 423
启动kafka [root@bigdata124 kafka_2.12-0.10.2.1]# ./bin/kafka-server-start.sh ./config/server.properties 创建kafka主题 [root@bigdata124 kafka_2.12-0.10.2.1]# bin/kafka-topics.sh --create --zookeeper bi...
kafka前台启动和后台启动
gywtzh0889的专栏
06-28 6853
前台启动： bin/kafka-server-start.sh config/server.properties 后台启动： bin/kafka-server-start.sh config/server.properties 1>/dev/null 2>&1 &
maxwell,maxwell的守护进程，一个mysql到json的kafka生产者.zip
09-25
这是maxwell的守护进程，一个读取mysql binlogs并写入
linux守护进程随系统启动而启动
06-14
本教程：在debian或redhat或ubuntu下编程写的daemon（守护进程），如何让它随系统启动而启动？
kafka-stack-docker-compose
02-12
这将复制以及可能的实际部署配置，在这些配置中，您的zookeeper服务器和kafka服务器实际上彼此不同。 这解决了Docker和docker-compose随附的所有网络障碍，并且兼容跨平台。 堆叠版本 Zookeeper版本：3.4.9 Kafka...
kafka-manager-1.3.0.8.zip
07-01
此代码是已经编译好的kafaka的管理端，下载...3、启动，nohup ./kafka-manager -Dconfig.file=../conf/application.conf -Dhttp.port=9001 >/dev/null 2>&1 & 4、在地址栏输入对应的ip:9001即可进入kafka-manager界面。
dropwizard-kafka-http:Apache Kafka HTTP 端点，用于从主题生成和使用消息
06-25
使用 Vagrant 在开发中运行项目中包含一个Vagrantfile ，用于快速启动和运行虚拟机以运行 ZooKeeper、Kafka 和 HTTP 端点。 安装 Vagrant 安装 Virtual Box git clone ...
kafka-rest:用于Kafka的融合REST代理
04-30
Kafka REST代理 ... 包装脚本bin/kafka-rest-start和bin/kafka-rest-stop是启动和停止服务的推荐方法。 快速开始 以下内容假设您已经使用默认设置和一些已创建的主题运行Kafka和REST Proxy实例。 # Get a list
centos8 安装 kafka 并使用 supervisor 守护 kafka 进程
qq_36431213的博客
12-25 2783
首先我们需要的软件机环境如下 centos 8 java kafka supervisor 首先我们需要先下载 java ，因为 kafka 运行需要 jdk 环境，其次我们需要下载 kafka 的二进制包，最后安装supervisor 守护 kafka 的进程 安装的主要命令依次如下 cd ~ yum install java wget http://mirrors.tuna.tsing...
2、Kafka安装配置、快速启动及基本操作教程
STAR GAME
02-18 427
kafka安装配置、快速启动及基本操作1、Kafka下载2、启动服务3、创建一个主题4、删除主题5、发送消息6、消费消息7、设置多个broker集群7、使用Kafka connect来导入/导出数据 1、Kafka下载 kafka官网下载 带src的是源文件,如： Source download: kafka_2.11-2.3.0.tgz (asc, sha512) 应该下的是： Scala 2....
docker-compose部署kafka
03-16
Docker-compose可以方便地部署Kafka，以下是部署Kafka的步骤： 1. 创建一个docker-compose.yml文件，内容如下： ``` version: '3' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值