kafka安装

最新推荐文章于 2024-06-25 14:27:36 发布
最新推荐文章于 2024-06-25 14:27:36 发布
阅读量121 收藏
点赞数
文章标签： kafka linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/niuwj666/article/details/132670119
版权
broker.id0Broker唯一标识
broker.id0Broker唯一标识
listenersPLAINTEXT://192.168.110.121:9092监听信息，PLAINTEXT表示明文传输
log.dirskafka/logskafka数据存放地址，可以填写多个。用","间隔
message.max.bytesmessage.max.bytes单个消息长度限制，单位是字节
num.partitions1默认分区数
log.flush.interval.messagesLong.MaxValue在数据被写入到硬盘和消费者可用前最大累积的消息的数量
log.flush.interval.msLong.MaxValue在数据被写入到硬盘前的最大时间
log.flush.scheduler.interval.msLong.MaxValue检查数据是否要写入到硬盘的时间间隔。
log.retention.hours24控制一个log保留时间，单位：小时
zookeeper.connect192.168.110.121:2181ZooKeeper服务器地址，多台用","间隔

1.1单节点部署

tar -zxf zookeeper-3.4.14.tar.gz -C /opt
tar -zxf jdk-8u201-linux-arm64-vfp-hflt.tar.gz -C /opt
tar -zxf kafka_2.11-2.4.0.tgz -C /opt

ln -s /opt/zookeeper-3.4.14 /usr/local/zookeeper
ln -s /opt/jdk-8u201 /usr/local/jdk
ln -s /opt/kafka_2.11-2.4.0 /usr/local/kafka

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

cd /opt/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
cp zoo.cfg zoo.cfg.bak

mkdir /usr/local/zookeeper/data
vim zoo.cfg
dataDir=/usr/local/zookeeper/data

cd ../bin
./zkServer.sh start
./zkServer.sh status

mkdir /usr/local/kafka/kafka-logs
cd /usr/local/kafka/config
vim server.properties
#新增
auto.create.topics.enable=true
delete.topic.enable=true
allow.everyone.if.no.acl.found=true

#修改
listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
log.dirs=/usr/local/kafka/kafka-logs
#连接
zookeeper.connect=hostename:2181

cd ../bin
#首次启动用以下命令，查看有无报错
./kafka-server-start.sh ../config/server.properties    
#等待一会

#再次启动用以下命令，后台启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

#查看日志有没有报错
cd ../logs
tail -f server.log

2.1集群部署

https://www.cnblogs.com/nbzws/p/15675402.html
#默认情况所有主机都操作
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
tar -zxf jdk-8u201-linux-arm64-vfp-hflt.tar.gz -C /opt
tar -zxf kafka_2.11-2.4.0.tgz -C /opt

ln -s /opt/zookeeper-3.4.14 /usr/local/zookeeper
ln -s /opt/jdk1.8.0_201 /usr/local/jdk
ln -s /opt/kafka_2.11-2.4.0 /usr/local/kafka

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

cd /opt/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
cp zoo.cfg zoo.cfg.bak

mkdir -p /usr/local/zookeeper/data
vim zoo.cfg
dataDir=/usr/local/zookeeper/data
#新增其他节点信息
server.1=192.168.203.52:2888:3888  
server.2=192.168.203.53:2888:3888
server.3=192.168.203.54:2888:3888
#给每台主机设置标识   每台主机不一样
echo "1" > /usr/local/zookeeper/data/myid
echo "2" > /usr/local/zookeeper/data/myid
echo "3" > /usr/local/zookeeper/data/myid

#启动zookeeper 每台都要
cd ../bin
./zkServer.sh start

ps -elf |grep zook #查看是否启动成功


#安装kafka
cd /usr/local/kafka/config
mkdir -p /usr/local/kafka/kafka-logs
vim server.properties
#新增
auto.create.topics.enable=true
delete.topic.enable=true
allow.everyone.if.no.acl.found=true

listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=hostename:2181,hosstname:2181,hostname:2181
broker.id=0 #每台id要唯一 不可重复

cd ../bin
#首次启动用以下命令，查看有无报错
./kafka-server-start.sh ../config/server.properties    
#等待一会
#[2023-06-02 10:47:54,268] INFO Kafka startTimeMs: 1685674074262 (org.apache.kafka.common.utils.AppInfoParser)
#[2023-06-02 10:47:54,273] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
启动时出现以上提示说明部署没有问题，kafka正常启动，Ctrl+C，结束即可，结尾会出现如下提示
#[2023-06-02 10:48:57,617] INFO [SocketServer brokerId=1] Shutdown completed (kafka.network.SocketServer)
#[2023-06-02 10:48:57,624] INFO [KafkaServer id=1] shut down completed (kafka.server.KafkaServer)

#再次启动用以下命令，后台启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

#查看日志有没有报错
cd ../logs
tail -f server.log

https://www.cnblogs.com/nbzws/p/15675402.html
#默认情况所有主机都操作
tar -zxf zookeeper-3.4.14.tar.gz -C /opt
tar -zxf jdk-8u201-linux-arm64-vfp-hflt.tar.gz -C /opt
tar -zxf kafka_2.11-2.4.0.tgz -C /opt

ln -s /opt/zookeeper-3.4.14 /usr/local/zookeeper
ln -s /opt/jdk1.8.0_201 /usr/local/jdk
ln -s /opt/kafka_2.11-2.4.0 /usr/local/kafka

vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

cd /opt/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
cp zoo.cfg zoo.cfg.bak

mkdir -p /usr/local/zookeeper/data
vim zoo.cfg
dataDir=/usr/local/zookeeper/data
#新增其他节点信息
server.1=192.168.203.52:2888:3888  
server.2=192.168.203.53:2888:3888
server.3=192.168.203.54:2888:3888
#给每台主机设置标识   每台主机不一样
echo "1" > /usr/local/zookeeper/data/myid
echo "2" > /usr/local/zookeeper/data/myid
echo "3" > /usr/local/zookeeper/data/myid

#启动zookeeper 每台都要
cd ../bin
./zkServer.sh start

ps -elf |grep zook #查看是否启动成功


#安装kafka
cd /usr/local/kafka/config
mkdir -p /usr/local/kafka/kafka-logs
vim server.properties
#新增
auto.create.topics.enable=true
delete.topic.enable=true
allow.everyone.if.no.acl.found=true

listeners=PLAINTEXT://hostname:9092
advertised.listeners=PLAINTEXT://hostname:9092
log.dirs=/usr/local/kafka/kafka-logs
zookeeper.connect=hostename:2181,hosstname:2181,hostname:2181
broker.id=0 #每台id要唯一 不可重复

cd ../bin
#首次启动用以下命令，查看有无报错
./kafka-server-start.sh ../config/server.properties    
#等待一会
#[2023-06-02 10:47:54,268] INFO Kafka startTimeMs: 1685674074262 (org.apache.kafka.common.utils.AppInfoParser)
#[2023-06-02 10:47:54,273] INFO [KafkaServer id=1] started (kafka.server.KafkaServer)
启动时出现以上提示说明部署没有问题，kafka正常启动，Ctrl+C，结束即可，结尾会出现如下提示
#[2023-06-02 10:48:57,617] INFO [SocketServer brokerId=1] Shutdown completed (kafka.network.SocketServer)
#[2023-06-02 10:48:57,624] INFO [KafkaServer id=1] shut down completed (kafka.server.KafkaServer)

#再次启动用以下命令，后台启动
nohup ./kafka-server-start.sh ../config/server.properties 1>/dev/null 2>&1 &

#查看日志有没有报错
cd ../logs
tail -f server.log

2.2测试

创建topic 就类似于一个组
./kafka-topics.sh --create --bootstrap-server master1:9092 --replication-factor 2 --partitions 3 --topic test
查看所有组
./kafka-topics.sh --list --bootstrap-server master1:9092
往这个组里写东西 输入这个命令给你返回一个交互的窗口
./kafka-console-producer.sh --broker-list  master1:9092  --topic test
〉 test 1

#区别的机器上试试能不能获取到刚写的 test 1
./kafka-console-consumer.sh --bootstrap-server master1:9092 --topic test --from-beginning
test 1
./kafka-console-consumer.sh --bootstrap-server master2:9092 --topic test --from-beginning
test 1
./kafka-console-consumer.sh --bootstrap-server node1:9092 --topic test --from-beginning
test 1

2.3编辑 crondns2

coredns  配置解析

kubectl edit cm coredns -n kube-system

kubernetes {
 ...   
}
#新增
hosts {   
    192.168.1.1 master1
    fallthrough
}
kubectl delete pod coredns

以逗号分隔

2.5开机自启

vim /etc/rc.local

/opt/zookeeper-3.4.14/bin/zkServer.sh start

nohup /opt/kafka_2.11-2.4.0/bin/kafka-server-start.sh /opt/kafka_2.11-2.4.0/config/server.properties 1>/dev/null 2>&1 &

niuwj666
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
KafKa 安装
05-18
KafKa 安装 环境搭建
kafka安装及详细介绍
04-11
Kafka 安装及详细介绍 Kafka 是一个高吞吐的分布式消息队列系统，具有生产者消费者模式，先进先出（FIFO）保证顺序，不丢失数据，默认每隔 7 天清理数据。事件记录了一个事实，即世界或企业中发生的“某些事情”。...
Kafka 安装教程和基本操作
一念之间 一心向阳
05-23 1396
Kafka安装教程和基本操作
Kafka安装教程
一数博客
06-01 1794
Kafka2.13-2.8安装教程
kafka安装部署
热门推荐
m0_46192647的博客
03-11 4万+
一、安装kafka 下载kafka两种方式 （1）、手动下载 下载地址：Apache Kafka （2）、也可以用命令下载（直接下载到服务器哦！）： 将安装包下载到/opt/monitor/kafka文件夹下面 下载命令： wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 手动下载移动到/opt/monitor/kafka目录下也可以 二、解压kafka tar -xzvf kafk
kafka安装教程
m0_64197649的博客
09-17 1053
单机安装kafka：可以不用安装zookeeper，就可以直接安装kafka（里面包含了zookeeper），借鉴林之雨方法。
Kafka安装部署
MJK祺的博客
05-15 1346
需要分别修改这两台kafka的config/server.properties文件，将broker.id分别改为 1，2，因为broker.id不能相同。将kafka的gz包上传到虚拟机的/opt/software目录，然后解压到/opt/servers。使用kafka消费者消费test主题的数据 --from-beginning表示从头消费。进入kafka的config目录，修改server.properties文件。可以开两个窗口，一边开启生产者发送消息，一边开启消费者接受消息。
Kafka安装与使用
Charge8的博客
05-25 1883
Kafka安装与使用
windows下kafka安装
qinshi501的博客
06-30 2736
解压后进入config 修改server.properties 为log.dirs=./logs。下载完解压，进入conf cp zoo_sample.cfg zoo.cfg。一：需要安装jdk环境，此处就省略安装步骤了。打开命令行运行 zkserver 启动。打开命令行进入kafka根目录运行。二：需要安装 zookeeper。注意要安装带bin的版本。
kafka安装及入门
q704013673的博客
09-30 8699
kafka入门教程
Kafka安装以及验证
上善若泪
04-23 2373
文章目录1 Kafka安装1.1 下载安装1.2 配置启动zookeeper1.3 配置kafka1.3.1 修改配置文件1.3.2 配置环境变量1.3.3 配置服务启动脚本1.3.4 启动kafka服务1.4 kafka使用简单入门1.4.1 创建主题topics1.4.2 发送一些消息1.4.3 启动消费者1.5 设置多代理kafka群集1.5.1 准备配置文件1.5.2 开启集群另2个kafka服务1.5.3 在集群中进行操作1.5.4 测试集群的容错性1.6 使用Kafka Connect导入/导出
KAFKA安装文档
07-09
KAFKA安装文档
KafKa安装使用手册.docx
12-26
Kafka 安装使用手册 Kafka 是一种高吞吐量、可扩展的分布式消息队列系统，广泛应用于大数据、流式计算、实时数据处理等领域。本文档将详细介绍 Kafka 的安装、配置和使用。 一、Kafka 安装 1. 下载 Kafka Kafka ...
# Kafka_深入探秘者（1）：初识 kafka
段子手168的博客
06-23 1015
Kafka_深入探秘者（1）：初识 kafka 第1章 01-特性 第1章 02-概念详解 第1章 03-环境配置jdk、zookeeper 第1章 04-环境配置kafka 第1章 05-消息的生产与消费 第1章 06-java第一个程序001 第1章 07-java第一个程序002 第1章 08-优化与总结
kafka（二）安装部署（2）windows
w_t_y_y的博客
06-22 481
（1）进入config目录 ，复制zoo_sample.cfg文件，改名为zoo.cfg，更改。安装Kafka之前，需要安装JDK、Zookeeper、Scala,②将新建的环境变量添加到系统变量path中。以管理员权限打开cmd命令窗口，输入。的原因为：安装的bin目录下的。文件名，也可直接把此文件中的。
【消息队列】Kafka学习笔记
passnight的博客
06-24 1205
Kafka学习笔记
Kubernetes Prometheus 系例 | kubernetes 部署 Kafka exporter监控Kafka集群
最新发布
weixin_48711696的博客
06-25 359
Kafka exporter 是一个用于导出 Apache Kafka 集群监控指标的工具。它通常与 Prometheus 和 Grafana 等监控工具结合使用，以提供对 Kafka 集群运行状态的实时监控和可视化。Kafka exporter 的主要功能是通过 JMX（Java Management Extensions）或其他接口从 Kafka 集群中收集各种运行时指标，如生产者吞吐量、消费者延迟、分区状态等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值