一键部署kafka2.1.0集群，使用内置 zookeeper部署，对应filebeat7.8进行日志采集

最新推荐文章于 2022-09-22 16:33:06 发布
最新推荐文章于 2022-09-22 16:33:06 发布
阅读量10w+ 收藏 8
点赞数 1
分类专栏： ELK 文章标签： kafka shell java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sdcxlgb/article/details/107552799
版权

1. kafka版本号介绍

kafka版本号介绍，例如：kafka-2.12-2.1.0
前面的2.12  代表scala编译的版本号
后面的2.1.0 代表kafka的版本号，大版本号+小版本号+修订版本号

2.kafka对应jdk版本号

支持 Java 11，最小版本jdk8，低版本会报错。

3.filebeat7.8对应kafka2.1.0

filebeat7.8  input对应的最高的版本是kafka2.1.0

4. kafka server.properties配置

4.1 kafka-1

vi /usr/local/server/kafka-1/config/server.properties

broker.id=1
listeners=PLAINTEXT://localhost:9091
log.dirs=/data/logs/kafka/kafka-1
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

#topic的默认分区数
num.partitions=1
# Kafka接收的数据保存7天,之后会被删除
log.retention.hours=168
# 单独数据块最大为1G，超过需要分块
log.segment.bytes=1073741824
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
# 允许删除topic
delete.topic.enable=true

4.2. kafka-2

vi /usr/local/server/kafka-2/config/server.properties

broker.id=2
listeners=PLAINTEXT://localhost:9092
log.dirs=/data/logs/kafka/kafka-2
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

#topic的默认分区数
num.partitions=1
# Kafka接收的数据保存7天,之后会被删除
log.retention.hours=168
# 单独数据块最大为1G，超过需要分块
log.segment.bytes=1073741824
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
# 允许删除topic
delete.topic.enable=true

4.3. kafka-3

vi /usr/local/server/kafka-3/config/server.properties

broker.id=3
listeners=PLAINTEXT://localhost:9093
log.dirs=/data/logs/kafka/kafka-3
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

#topic的默认分区数
num.partitions=1
# Kafka接收的数据保存7天,之后会被删除
log.retention.hours=168
# 单独数据块最大为1G，超过需要分块
log.segment.bytes=1073741824
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.check.interval.ms=300000
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0
# 允许删除topic
delete.topic.enable=true

5. kafka zookeeper.properties配置

5.1. kafka-1

vi /usr/local/server/kafka-1/config/zookeeper.properties

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zk-1
dataLogDir=/data/logs/zookeeper/zk-1
clientPort=2181
server.1=localhost:12888:13888
server.2=localhost:22888:23888
server.3=localhost:32888:33888

5.1. kafka-2

vi /usr/local/server/kafka-2/config/zookeeper.properties

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zk-2
dataLogDir=/data/logs/zookeeper/zk-2
clientPort=2182
server.1=localhost:12888:13888
server.2=localhost:22888:23888
server.3=localhost:32888:33888

5.3. kafka-3

vi /usr/local/server/kafka-3/config/zookeeper.properties

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zookeeper/zk-3
dataLogDir=/data/logs/zookeeper/zk-3
clientPort=2183
server.1=localhost:12888:13888
server.2=localhost:22888:23888
server.3=localhost:32888:33888

6. zookeeper myid配置

cat/data/zookeeper/zk-1/myid
1
cat/data/zookeeper/zk-2/myid
2
cat/data/zookeeper/zk-3/myid
3

7. kafka启动、停止

7. 1 kafka后台启动

su - elk -c nohup -c "/usr/local/server/kafka-1/bin/kafka-server-start.sh  /usr/local/server/kafka-1/config/server.properties" >/dev/null 2>&1 &
su - elk -c nohup -c "/usr/local/server/kafka-2/bin/kafka-server-start.sh  /usr/local/server/kafka-2/config/server.properties" >/dev/null 2>&1 &
su - elk -c nohup -c "/usr/local/server/kafka-3/bin/kafka-server-start.sh  /usr/local/server/kafka-3/config/server.properties" >/dev/null 2>&1 &

7. 2 kafka停止

/usr/local/server/kafka-1/bin/kafka-server-stop.sh
/usr/local/server/kafka-2/bin/kafka-server-stop.sh
/usr/local/server/kafka-3/bin/kafka-server-stop.sh

8. zookeeper启动、停止

8.1 zookeepre后台启动

su - elk -c nohup -c "/usr/local/server/kafka-1/bin/zookeeper-server-start.sh  /usr/local/server/kafka-1/config/zookeeper.properties" >/dev/null 2>&1 &
su - elk -c nohup -c "/usr/local/server/kafka-2/bin/zookeeper-server-start.sh  /usr/local/server/kafka-2/config/zookeeper.properties" >/dev/null 2>&1 &
su - elk -c nohup -c "/usr/local/server/kafka-3/bin/zookeeper-server-start.sh  /usr/local/server/kafka-3/config/zookeeper.properties" >/dev/null 2>&1 &

8.2 zookeepre停止

/usr/local/server/kafka-1/bin/zookeeper-server-stop.sh
/usr/local/server/kafka-2/bin/zookeeper-server-stop.sh
/usr/local/server/kafka-3/bin/zookeeper-server-stop.sh

9. kafka使用案例

1.创建主题topics，OK
./kafka-topics.sh --create --topic liuTopic --replication-factor 1 --partitions 1 --zookeeper localhost:2181

2.查看主题topics，OK
./kafka-topics.sh --list --zookeeper localhost:2181
./kafka-topics.sh --describe --zookeeper localhost:2181 --topic liuTopic

3.查看zook配置信息，OK
./zookeeper-shell.sh localhost:2181 <<< "get /brokers/ids/1"
./zookeeper-shell.sh localhost:2181 <<< "get /brokers/ids/myid的值"

4.使用producer生产者发生消息，OK
./kafka-console-producer.sh --broker-list PLAINTEXT://localhost:9091 --topic liuTopic

5.使用consumer消费者查看刚才发送的消息，OK
./kafka-console-consumer.sh --bootstrap-server PLAINTEXT://localhost:9091 --topic liuTopic --from-beginning

6.删除一个Topic
./kafka-topics.sh --delete --topic liuTopic --zookeeper localhost:2181  

7.进到zookeeper的客户端，从客户端删掉想要删除的topic。
./zookeeper-shell.sh localhost:2181  # 登录zk客户端
ll  # 查看zook支持的命令
ls /brokers/topics  #查看现有的topic
ls /brokers/ids     #查看brokers的id
ls /brokers/ids/0   #查看id为0的服务器的信息
rmr /brokers/topics/liuTopic # 删除主题liuTopic

10. 增值服务一键部署脚本

快速联系，tel/wx:15000227329

企业级一键部署脚本，增加kafka部署
https://blog.csdn.net/sdcxlgb/article/details/106934668

# 集群版，纯shell脚本编写，都看得懂、学得会，一键部署最多200台
https://item.taobao.com/item.htm?spm=a2oq0.12575281.0.0.50111debY9ELVa&ft=t&id=621966415353

# 单机版，纯shell脚本编写，都看得懂、学得会，一键部署最多9台
https://item.taobao.com/item.htm?spm=a2oq0.12575281.0.0.50111debTWMxWl&ft=t&id=622058094895
sdcxlgb
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Kafka集群安装部署-自带zookeeper
08-24
Kafka集群安装部署-自带zookeeper 1、kafka简介 2、环境准备 3、安裝配置工作
快速部署kafka
chenqunhui的博客
03-01 140
  本文使用kafka的版本为1.0.0   一、配置文件   ############################# Server Basics ############################# broker.id=0   ############################# Socket Server Settings #################...
filebeat+logstash+kafka部署
qq_35991226的博客
09-22 775
filebeat+logstash+kafka部署 由于工作需要对业务产生的日志做分析，因此选择了比较成熟稳定的elk体系，这里记录下安装过程。因为当前生产环境已经部署kafka-0.10.0.0版本，因此相应的logstash、filebeat等都使用了最后兼容此版本kafka的相关版本。 一、环境及相关应用包版本 filebeat及logstash下载地址 linux系统: Linux version 2.6.32-754.17.1.el6.x86_64 ([email protected]
ELK+Kafka+Filebeat 企业内部日志分析系统（版本6.5.4）
hanjinjuan的博客
09-23 1222
一、ELK ELK:日志搜集平台 ELK由ElasticSearch、Logstash和Kibana三个开源工具组成： 1、组件介绍 （1）Elasticsearch ElasticSearch是一个基于Lucene的开源分布式搜索服务。只搜索和分析日志 特点：分布式，零配置，自动发现，索引自动分片，索引副本机制，多数据源等。它提供了一个分布式多用户能力的全文搜索引擎。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够
CentOS 7.2下Filebeat+Kafka+ELK生产部署（安全加固）
qq_40907977的博客
07-30 2001
01架构说明 在需要采集日志的服务器上部署Filebeat服务，它将采集到的日志数据推送到Kafka集群； Logstash服务通过input插件读取Kafka集群对应主题的数据，期间可以使用filter插 数据做自定义过滤解析处理，然后通过output插件将数据推送到Elasticsearch集群中； 最后用户通过Kibana服务提供的web界面，对索引数据做汇总，分析，搜索和展示等功能 本文旨在部署安全可靠的生产架构，对ELK做XPack安全加固，对Kafka做SASL安全加固！ 02准备工作
filebeat 发送 kafka 配置
qq_35952353的博客
07-22 2633
filebeat 发送 kafka 坑 kafka版本: kafka_2.10-0.9.0.0 filebeat配置文件中的hostname要与kafka所在的hostname配置一样 filebeat.prospectors: - input_type: log paths: - /opt/nginx_wjl/nginx-green/logs/access.log encodin...
filebeat_8.2输出kafka_2.6.0集群
weixin_43307317的博客
09-22 715
filebeat-8.2连接kafka-2.6.0集群
Kafka zookeeper-shell.sh
m0_45406092的博客
11-23 3210
bin/zookeeper-shell.sh作用是连接zookeeper，并通过命令查询注册的信息，本质上就是zookeeper的语法。 bin/zookeeper-shell.sh zookeeper_host:port[/path] [args…] args参数类型如下 stat path [watch] set path data [version] ls path [watch] delq...
五、Zookeeper的Shell操作
m0_52426915的博客
11-21 2587
Zookeeper的Shell操作 文章目录Zookeeper的Shell操作1、显示所有命令2 、查看当前Zookeeper中所含的内容3、查看当前节点数据4、创建节点：5、获取节点：6、修改节点：7、监听节点：8、删除节点： ZooKeeper服务命令: 启动ZK服务: sh bin/zkServer.sh start 查看ZK服务状态: sh bin/zkServer.sh status 停止ZK服务: sh bin/zkServer.sh stop 重启ZK服务: sh
filebeat采集日志数据到kafka（一）（filebeat-＞kafka-＞logstash-＞es）
qq_43700739的博客
05-23 2853
一、filebeat安装 filebeat-kafka版本适配 1、安装包下载 https://www.elastic.co/cn/downloads/past-releases#filebeat 解压 2、新建yml配置文件，如test.yml filebeat.prospectors: - input_type: log paths: - /data/test.log #配置需要采集的日志文件的全路径 document_type: "testtype" #
使用docker-compose 搭建 kafka集群 + 可视化工具
weixin_65662185的博客
07-14 1724
docker 容器 搭建 kafka集群 安装并使用docker-compose 搭建 kafka集群 + 安装可视化工具
zookeeper、kafka集群部署
10-08
zookeeper配置、集群部署 kafka配置、集群部署 Window平台下
一键快速部署测试生产环境kafka集群
04-23
linux环境实现shell一键部署docker容器运行kafka集群（docker-compose实现集群启动，内置kafka-manager、zookeeper）
EFK+kafka+head日志分析集群部署.rar
07-04
日志分析集群，在本地centos7虚拟机搭建的Es+firebeat+logstash+kibana+kafka+head的完整集群部署文档，很详细，通常的EFK日志分析，加上kafka的消息队列，可以处理PB级别的日志内容。
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台
01-23
ELK+Filebeat+Kafka+ZooKeeper构建日志分析平台，架构图解
centos7 ELK7.8.0 生产部署 elasticsearch7.8 一键部署
热门推荐
sdcxlgb的博客
06-25 29万+
ELK7.8.0 elasticsearch7.8 生产环境一键部署脚本 1. 已在近100台服务器上完成一键部署，不需要登录和服务器间的切换 2. 代码结构简单，设计合理，大家都看得懂，学的会 3. 你不但可以学到ELK的部署和相关的原理，还可以学会shell脚本中的自动交互
logstash7.8 apache日志解析 grok
sdcxlgb的博客
07-23 29万+
1. apache日志 27.60.18.21 - - [21/Jul/2020:10:10:10 +0530] "GET /api/v1.2/places/search/json?username=liusg&location=28.5359586,77.3677936&query=elasticsearch&explain=true&bridge=true HTTP/1.1" 200 3284 27.60.18.22 - - [22/Jul/2020:10:11:11 +
logstash grok正则案例
sdcxlgb的博客
08-14 28万+
案例一 1.1 日志 Aug 6 2011 20:34:46 HUAWEI %% 01 HWCM/5/EXIT(l)[1]: exit from configure mode Jan 8 2013 03:58:15+07:00 HUAWEI %% 01 HWCM/5/EXIT(l)[1]: exit from configure mode 1.2 日志grok解析 (?<ss1_date>(%{MONTH} %{MONTHDAY} %{YEAR} %{TIME}) | (%{MONTH} %{
在k8s上部署 zookeeper + kafka 集群 配置教程
最新发布
06-13
好的，以下是一个基本的在k8s上部署zookeeper + kafka集群的配置教程： 1. 创建一个namespace 首先，我们需要创建一个namespace，用于部署zookeeper和kafka集群。可以使用以下命令创建一个名为“zookeeper-kafka”的namespace： ``` kubectl create namespace zookeeper-kafka ``` 2. 部署Zookeeper 接下来，我们需要部署Zookeeper。可以使用以下YAML文件创建一个Zookeeper服务： ``` apiVersion: v1 kind: Service metadata: name: zookeeper spec: selector: app: zookeeper ports: - name: client port: 2181 protocol: TCP - name: follower port: 2888 protocol: TCP - name: leader port: 3888 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: zookeeper spec: serviceName: zookeeper replicas: 3 selector: matchLabels: app: zookeeper template: metadata: labels: app: zookeeper spec: containers: - name: zookeeper image: zookeeper:3.5.8 ports: - name: client containerPort: 2181 - name: follower containerPort: 2888 - name: leader containerPort: 3888 volumeMounts: - name: datadir mountPath: /data env: - name: ZOO_MY_ID valueFrom: fieldRef: fieldPath: metadata.name - name: ZOO_SERVERS value: zookeeper-0.zookeeper:2888:3888,zookeeper-1.zookeeper:2888:3888,zookeeper-2.zookeeper:2888:3888 volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Zookeeper StatefulSet，并创建一个名为“zookeeper”的Service，暴露Zookeeper的客户端端口2181，follower端口2888和leader端口3888。 3. 部署Kafka 现在，我们可以部署Kafka。以下是一个Kafka部署的YAML文件示例： ``` apiVersion: v1 kind: Service metadata: name: kafka spec: type: NodePort selector: app: kafka ports: - name: kafka port: 9092 nodePort: 30092 protocol: TCP --- apiVersion: apps/v1 kind: StatefulSet metadata: name: kafka spec: serviceName: kafka replicas: 3 selector: matchLabels: app: kafka template: metadata: labels: app: kafka spec: containers: - name: kafka image: wurstmeister/kafka:2.13-2.7.0 ports: - name: kafka containerPort: 9092 env: - name: KAFKA_BROKER_ID valueFrom: fieldRef: fieldPath: metadata.name - name: KAFKA_ZOOKEEPER_CONNECT value: zookeeper-0.zookeeper:2181,zookeeper-1.zookeeper:2181,zookeeper-2.zookeeper:2181 - name: KAFKA_ADVERTISED_LISTENERS value: PLAINTEXT://$(hostname -f):9092 - name: KAFKA_LISTENERS value: PLAINTEXT://0.0.0.0:9092 - name: KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR value: "3" volumeMounts: - name: datadir mountPath: /data volumeClaimTemplates: - metadata: name: datadir spec: accessModes: - ReadWriteOnce resources: requests: storage: 1Gi ``` 这将创建一个3个Pod的Kafka StatefulSet和一个名为“kafka”的Service，它将Kafka的9092端口暴露为NodePort 30092。 4. 验证部署 现在，您可以使用以下命令检查Zookeeper和Kafka是否正在运行： ``` kubectl get pods -n zookeeper-kafka ``` 您应该看到3个Zookeeper和3个Kafka Pod处于“Running”状态。 接下来，您可以使用以下命令检查Kafka是否正在监听端口30092（或您自己选择的端口）： ``` kubectl get services -n zookeeper-kafka ``` 您应该看到一个名为“kafka”的service，它将Kafka的9092端口暴露为30092端口。可以使用此端口测试Kafka是否正常运行。 至此，您已经成功地在k8s上部署了zookeeper + kafka集群。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sdcxlgb

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值