ELK、Kafka

--w--

已于 2023-10-15 16:47:50 修改

阅读量127

点赞数

文章标签： kafka

于 2023-10-10 21:52:52 首次发布

本文链接：https://blog.csdn.net/2301_79092585/article/details/133743133

版权

filebeat轻量级日志采集器

ansibe剧本：实现es的批量部署

ELK集群

kibana安装filebeat

上传filebeat

解压，改名

vi filebeat.yml

修改配置

修改

添加

注意：不加*会出不来但不报错

运行

案例：搜集nginx的日志：metricbeat（要搜集哪台服务器的日志就安装在哪，这台有nginx）

kibana服务器

上传meticbeat

参考官方文档

vi /etc/metricbeat/metricbeat.yml

ls /etc/metricbeat/modules.d

参考官方文档的下一步

vi /etc/metricbeat/modules.d/nginx.yml

vi /etc/nginx/nginx.conf

nginx -t

nginx -s reload

官方文档的下一步

浏览器访问：kibana的ip地址：xingdian

根据官方文档启动metricbeat

cd /var/log/metricbeat

cat metricbeat

Kafka

Kafka的特性:

- 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consumer操作。
- 可扩展性：kafka集群支持热扩展
- 可靠性：消息被持久化到本地磁盘，并且支持数据备份防止数据丢失
- 容错性：允许集群中节点失败（若副本数量为n,则允许n-1个节点失败）
- 高并发：支持数千个客户端同时读写

Kafka部署

本地解析

scp .... kafaka-2:/etc/hosts

kafka-1,kafka-2,kafka-3

三台kafka节点：

安装jdk

解压

vi /etc/profile

source /etc/profile

java -version

上传kafka安装包

安装kafka（解压即安装）

将配置文件中的内容都添加为注释

修改配置文件

vi /usr/local/kafka/config/zookeeper.properties

dataDir=/opt/data/zookeeper/data
dataLogDir=/opt/data/zookeeper/logs
clientPort=2181
tickTime=2000
initLimit=20
syncLimit=10
server.1=kafka-1:2888:3888 //kafka集群IP:Port
server.2=kafka-2:2888:3888

创建data、log目录
mkdir -p /opt/data/zookeeper/{data,logs}
创建myid文件

4.配置kafka

vi /usr/local/kafka/config/server.properties
broker.id=1
listeners=PLAINTEXT://kafka-1:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/opt/data/kafka/logs
num.partitions=6
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=2
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=300000
zookeeper.connect=kafka-1:2181,kafka-2:2181 //改
zookeeper.connection.timeout.ms=6000
group.initial.rebalance.delay.ms=0