kafka安装

最新推荐文章于 2023-11-11 17:42:17 发布
最新推荐文章于 2023-11-11 17:42:17 发布
阅读量151 收藏
点赞数
文章标签： kafka linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niuwj666/article/details/132670119
版权
broker.id0Broker唯一标识
broker.id0Broker唯一标识
listenersPLAINTEXT://192.168.110.121:9092监听信息，PLAINTEXT表示明文传输
log.dirskafka/logskafka数据存放地址，可以填写多个。用","间隔
message.max.bytesmessage.max.bytes单个消息长度限制，单位是字节
num.partitions1默认分区数
log.flush.interval.messagesLong.MaxValue在数据被写入到硬盘和消费者可用前最大累积的消息的数量
log.flush.interval.msLong.MaxValue在数据被写入到硬盘前的最大时间
log.flush.scheduler.interval.msLong.MaxValue检查数据是否要写入到硬盘的时间间隔。
log.retention.hours24控制一个log保留时间，单位：小时
zookeeper.connect192.168.110.121:2181ZooKeeper服务器地址，多台用","间隔

1.1单节点部署

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
tar -zxf jdk-8u201-linux-arm64-vfp-hflt.tar.gz -C /opt
tar -zxf kafka_2.11-2.4.0.tgz -C /opt

ln -s /opt/zookeeper-3.4.14 /usr/local/zookeeper
ln -s /opt/jdk-8u201 /usr/local/jdk
ln -s /opt/kafka_2.11-2.4.0 /usr/local/kafka

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

cd /opt/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
cp zoo.cfg zoo.cfg.bak

mkdir /usr/local/zookeeper/data
vim zoo.cfg
dataDir=/usr/local/zookeeper/data

cd ../bin
./zkServer.sh start
./zkServer.sh status

mkdir /usr/local/kafka/kafka-logs
cd /usr/local/kafka/config
vim server.properties
#新增
auto.create.topics.enable=true
delete.topic.enable=true
allow.everyone.if.no.acl.found=true

#修改
listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
log.dirs=/usr/local/kafka/kafka-logs
#连接
zookeeper.connect=hostename:2181

cd ../bin
#首次启动用以下命令，查看有无报错
./kafka-server-start.sh ../config/server.properties    
#等待一会

#再次启动用以下命令，后台启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

#查看日志有没有报错
cd ../logs
tail -f server.log

2.1集群部署

https://www.cnblogs.com/nbzws/p/15675402.html
#默认情况所有主机都操作
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
tar -zxf jdk-8u201-linux-arm64-vfp-hflt.tar.gz -C /opt
tar -zxf kafka_2.11-2.4.0.tgz -C /opt

ln -s /opt/zookeeper-3.4.14 /usr/local/zookeeper
ln -s /opt/jdk1.8.0_201 /usr/local/jdk
ln -s /opt/kafka_2.11-2.4.0 /usr/local/kafka

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

cd /opt/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
cp zoo.cfg zoo.cfg.bak

mkdir -p /usr/local/zookeeper/data
vim zoo.cfg
dataDir=/usr/local/zookeeper/data
#新增其他节点信息
server.1=192.168.203.52:2888:3888  
server.2=192.168.203.53:2888:3888
server.3=192.168.203.54:2888:3888
#给每台主机设置标识   每台主机不一样
echo "1" > /usr/local/zookeeper/data/myid
echo "2" > /usr/local/zookeeper/data/myid
echo "3" > /usr/local/zookeeper/data/myid

#启动zookeeper 每台都要
cd ../bin
./zkServer.sh start

ps -elf |grep zook #查看是否启动成功


#安装kafka
cd /usr/local/kafka/config
mkdir -p /usr/local/kafka/kafka-logs
vim server.properties
#新增
auto.create.topics.enable=true
delete.topic.enable=true
allow.everyone.if.no.acl.found=true

listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=hostename:2181,hosstname:2181,hostname:2181
broker.id=0 #每台id要唯一 不可重复

cd ../bin
#首次启动用以下命令，查看有无报错
./kafka-server-start.sh ../config/server.properties    
#等待一会
#[2023-06-02 10:47:54,268] INFO Kafka startTimeMs: 1685674074262 (org.apache.kafka.common.utils.AppInfoParser)
#[2023-06-02 10:47:54,273] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
启动时出现以上提示说明部署没有问题，kafka正常启动，Ctrl+C，结束即可，结尾会出现如下提示
#[2023-06-02 10:48:57,617] INFO [SocketServer brokerId=1] Shutdown completed (kafka.network.SocketServer)
#[2023-06-02 10:48:57,624] INFO [KafkaServer id=1] shut down completed (kafka.server.KafkaServer)

#再次启动用以下命令，后台启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

#查看日志有没有报错
cd ../logs
tail -f server.log

https://www.cnblogs.com/nbzws/p/15675402.html
#默认情况所有主机都操作
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
tar -zxf jdk-8u201-linux-arm64-vfp-hflt.tar.gz -C /opt
tar -zxf kafka_2.11-2.4.0.tgz -C /opt

ln -s /opt/zookeeper-3.4.14 /usr/local/zookeeper
ln -s /opt/jdk1.8.0_201 /usr/local/jdk
ln -s /opt/kafka_2.11-2.4.0 /usr/local/kafka

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

cd /opt/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
cp zoo.cfg zoo.cfg.bak

mkdir -p /usr/local/zookeeper/data
vim zoo.cfg
dataDir=/usr/local/zookeeper/data
#新增其他节点信息
server.1=192.168.203.52:2888:3888  
server.2=192.168.203.53:2888:3888
server.3=192.168.203.54:2888:3888
#给每台主机设置标识   每台主机不一样
echo "1" > /usr/local/zookeeper/data/myid
echo "2" > /usr/local/zookeeper/data/myid
echo "3" > /usr/local/zookeeper/data/myid

#启动zookeeper 每台都要
cd ../bin
./zkServer.sh start

ps -elf |grep zook #查看是否启动成功


#安装kafka
cd /usr/local/kafka/config
mkdir -p /usr/local/kafka/kafka-logs
vim server.properties
#新增
auto.create.topics.enable=true
delete.topic.enable=true
allow.everyone.if.no.acl.found=true

listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=hostename:2181,hosstname:2181,hostname:2181
broker.id=0 #每台id要唯一 不可重复

cd ../bin
#首次启动用以下命令，查看有无报错
./kafka-server-start.sh ../config/server.properties    
#等待一会
#[2023-06-02 10:47:54,268] INFO Kafka startTimeMs: 1685674074262 (org.apache.kafka.common.utils.AppInfoParser)
#[2023-06-02 10:47:54,273] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
启动时出现以上提示说明部署没有问题，kafka正常启动，Ctrl+C，结束即可，结尾会出现如下提示
#[2023-06-02 10:48:57,617] INFO [SocketServer brokerId=1] Shutdown completed (kafka.network.SocketServer)
#[2023-06-02 10:48:57,624] INFO [KafkaServer id=1] shut down completed (kafka.server.KafkaServer)

#再次启动用以下命令，后台启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

#查看日志有没有报错
cd ../logs
tail -f server.log

2.2测试

创建topic 就类似于一个组
./kafka-topics.sh --create --bootstrap-server master1:9092 --replication-factor 2 --partitions 3 --topic test
查看所有组
./kafka-topics.sh --list --bootstrap-server master1:9092
往这个组里写东西 输入这个命令给你返回一个交互的窗口
./kafka-console-producer.sh --broker-list  master1:9092  --topic test
〉 test 1

#区别的机器上试试能不能获取到刚写的 test 1
./kafka-console-consumer.sh --bootstrap-server master1:9092 --topic test --from-beginning
test 1
./kafka-console-consumer.sh --bootstrap-server master2:9092 --topic test --from-beginning
test 1
./kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
test 1

2.3编辑 crondns2

coredns  配置解析

kubectl edit cm coredns -n kube-system

kubernetes {
 ...   
}
#新增
hosts {   
    192.168.1.1 master1
    fallthrough
}
kubectl delete pod coredns

以逗号分隔

2.5开机自启

vim /etc/rc.local

/opt/zookeeper-3.4.14/bin/zkServer.sh start

nohup /opt/kafka_2.11-2.4.0/bin/kafka-server-start.sh /opt/kafka_2.11-2.4.0/config/server.properties 1>/dev/null 2>&1 &

niuwj666
关注
Kafka 安装及基本入门
Alex的博客
10-27 1734
Kafka 是一个开源的分布式消息引擎/消息中间件，同时Kafka也是一个流处理平台。Kakfa 支持以发布/订阅的方式在应用间传递消息，同时并基于消息功能添加了 Kafka Connect、Kafka Streams 以支持连接其他系统的数据源，如 ES、Hadoop 等。Kafka 最核心的最成熟的还是他的消息引擎，所以 Kafka 大部分应用场景还是用来作为消息队列削峰平谷。另外，Kafka 也是目前性能最好的消息中间件。
Linux的kafka安装部署
最新发布
m0_72898512的博客
10-11 477
5.复制文件到其他节点 命令: scp -r /export/server/kafka_2.12-3.8.0 wtk1:`pwd`/创建软连接 命令: ln -s /export/server/kafka_2.12-3.8.0 /export/server/kafka。命令: ln -s /export/server/kafka_2.12-3.8.0 /export/server/kafka。命令: cd /export/server/kafka_2.12-3.8.0/config。
Kafka 安装及快速入门
http://www.54tianzhisheng.cn/
01-06 1554
介绍 官网：http://kafka.apache.org/ Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务。 Apache Kafka与传统消息系统相比，有以下不同： 它被设计为一个分布式系统，易于向外扩展； 它同时为发布和订阅提供
kafka下载与安装教程
weixin_42113716的博客
08-23 4911
kafka、zookeeper下载与安装教程.
KafKa 安装
05-18
KafKa 安装 环境搭建
kafka安装及详细介绍
04-11
Kafka 安装及详细介绍 Kafka 是一个高吞吐的分布式消息队列系统，具有生产者消费者模式，先进先出（FIFO）保证顺序，不丢失数据，默认每隔 7 天清理数据。事件记录了一个事实，即世界或企业中发生的“某些事情”。...
Kafka安装手册（Linux）
12-22
### Kafka安装手册（Linux） #### 一、Kafka简介与安装背景 Apache Kafka是一个开源的流处理平台，由LinkedIn开发并捐赠给Apache软件基金会。它主要用于构建实时数据管道和流应用，具有高吞吐量、低延迟的特点。...
Kafka安装（安装与配置）.pdf
12-23
### Kafka安装与配置详解 #### 一、Kafka简介 Apache Kafka是一种分布式流处理平台，主要功能包括发布和订阅记录流、存储记录流并可靠地处理这些记录流。Kafka适用于离线和在线的消息消费，如常规的消息收集、网站...
Kafka安装与部署指南
07-19
**Kafka安装与部署指南** Apache Kafka是一款分布式流处理平台，由LinkedIn开发并贡献给了Apache软件基金会。它被广泛用于构建实时数据管道和流应用程序，能够处理大量的实时数据。Kafka以其高吞吐量、持久化、容错...
kafka安装教程
03-16
kafka安装教程 kafka安装教程 kafka安装教程 kafka安装教程 kafka安装教程
Kafka入门（三）
ldcaws的专栏
02-08 782
kafka的下载安装及测试
超简洁步骤安装kafka（linux环境）
norma_chai的博客
06-20 2843
4、在zookeeper的conf目录下修改配置文件名（启动zookeeper的时候会去找zoo.cfg）4、在config目录下修改配置文件server.properties。2、通过rz命令将zookeeper安装包上传到linux。一、查看jdk是否安装（如果没有安装，可自行百度安装）5、在zookeeper的bin目录下启动zk。2、通过rz命令上传到linux服务器。3、在bin目录下启动kafka。4、在bin目录下创建topic。二、安装zookeeper。
kafka集群&kafka-eagle安装
L57645764的博客
08-01 1481
kafka集群/kafka-eagle安装/手动创建、删除topic
Zookeeper以及kafka的安装（Kafka依赖于）
2301_77329325的博客
11-11 453
从名字上直译就是动物管理员，动物指的是 Hadoop 一类的分布式软件，管理员三个字体现了 ZooKeeper 的特点：维护、协调、管理、监控。
Kafka 部署安装及相关操作记录
Gabriel的博客
07-04 854
⾃定义反序列化类，需要实现 org.apache.kafka.common.serialization.Deserializer 接⼝。
kafka安装和使用的入门教程
沐雨橙风ιε的博客
10-15 2196
这篇文章简单介绍如何在ubuntu上安装kafka，并使用kafka完成消息的发送和接收。
大数据技术之Kafka——Kafka的安装与部署
five小点心的博客
04-13 2130
（2）也可以用命令下载（直接下载到服务器哦！）：将安装包下载到/opt/monitor/kafka文件夹下面下载命令：手动下载移动到/opt/soft/kafka目录下也可以。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值