ELK+Filebeat+Kafka日志采集

一起探讨学习

每天给大家提供技术干货

博主技术笔记 https://notes.xiyankt.com

博主开源微服架构前后端分离技术博客项目源码地址，欢迎各位star https://gitee.com/bright-boy/xiyan-blog

1.ELK

2. ELFK

3. 架构演进

ELK缺点：ELK架构，并且Spring Boot应用使用 logstash-logback-encoder 直接发送给 Logstash，缺点就是Logstash是重量级日志收集server，占用cpu资源高且内存占用比较高
ELFK缺点：一定程度上解决了ELK中Logstash的不足，但是由于Beats 收集的每秒数据量越来越大，Logstash 可能无法承载这么大量日志的处理

4. 日志新贵ELK + Filebeat + Kafka

随着 Beats 收集的每秒数据量越来越大，Logstash 可能无法承载这么大量日志的处理。虽然说，可以增加 Logstash 节点数量，提高每秒数据的处理速度，但是仍需考虑可能 Elasticsearch 无法承载这么大量的日志的写入。此时，我们可以考虑 引入消息队列 ，进行缓存：
Beats 收集数据，写入数据到消息队列中。

5.搭建

5.1需要的组件

1、elasticsearch-7.9.3 2、elasticsearch-head-5.0.0 3、filebeat-7.9.3 4、kibana-7.9.3 5、logstash-7.9.3 6、kafka_2.13-2.5.0 7、zipkin-server-2.14.0-exec

5.2修改elasticsearch-7.9.3/config/elasticsearch.yml 文件

修改配置：#ubuntu需要加上node.name sentos7可以不需要，尽量还是加上吧
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true
http.cors.allow-origin: "*"
#这里可以换未cluster.initial_master_nodes: ["node-1"]
cluster.initial_master_nodes: ["192.168.28.129:9300"]

5.3编辑 filebeat-7.9.3/filebeat.yml 文件 （不同的服务配置不同的日志路径）

filebeat.inputs:
- type: log
  enabled: true
  paths:
   # 配置我们要读取的 Spring Boot 应用的日志
    - /home/aisys/logs/member-service/*.log
  fields:
  #         #定义日志来源，添加了自定义字段
    log_topic: member-service

- type: log
enabled: true
paths:
- /home/aisys/logs/yoostar-gateway/*.log
fields:
log_topic: yoostar-gateway

#----------------------------- kafka output --------------------------------

output.kafka:

enabled: true

hosts: [“192.168.28.128:9092”]

topic: ‘tv-%{[fields][log_topic]}’

partition.round_robin:

reachable_only: false

required_acks: 1

compression: gzip

5.4编辑 kibana-7.9.3/config/kibana.yml 文件

server.host: “0.0.0.0”

elasticsearch.hosts: [“http://10.20.22.30:9200”]

英文很6的可以忽略这个

i18n.locale: “zh-CN”

5.5编辑 logstash-7.9.3/config/logstash.conf 文件(该文件需要手动创建)

input {

kafka {

bootstrap_servers =>“192.168.28.128:9092”

topics_pattern =>“tv-.*”

consumer_threads =>5

decorate_events =>true

codec =>“json”

auto_offset_reset =>“earliest”

#集群需要相同

group_id =>“logstash1”

}

}

filter{

json{

source =>“message”

target =>“doc”

}

}

output{

elasticsearch{

action =>“index”

hosts =>[“192.168.28.128:9200”]

#索引里面如果有大写字母就无法根据topic动态生成索引，topic也不能有大写字母

index =>“%{[fields][log_topic]}-%{+YYYY-MM-dd}”

}

stdout{

codec =>rubydebug

}

}

5.6启动elasticsearch-head

// 下载

wget https://nodejs.org/dist/v10.9.0/node-v10.9.0-linux-x64.tar.xz

tar xf node-v10.9.0-linux-x64.tar.xz // 解压

cd node-v10.9.0-linux-x64/ // 进入解压目录

./bin/node -v // 执行node命令 查看版本

v10.9.0
配置环境变量
vim /etc/profile
export PATH=$PATH:/usr/local/node-v10.9.0-linux-x64/bin

刷新配置

source /etc/profile

执行npm install -g grunt-cli 编译源码

执行npm install 安装服务

如果查询install.js错误执行npm -g install phantomjs-prebuilt@2.1.16 –ignore-script

执行grunt server启动服务。或者 nohup grunt server >output 2>&1 &

启动服务之后访问http😕/10.20.22.30:9100/

5.7启动kafka

1.下载kafka安装包

(未安装wget请先安装)

yum -y install wget
wget https://mirror.bit.edu.cn/apache/kafka/2.5.0/kafka_2.13-2.5.0.tgz 

2.解压kafka

tar -zxvf kafka_2.13-2.5.0.tgz

3.进入配置目录

cd kafka_2.13-2.5.0/config/

4.修改配置文件server.properties，添加下面内容

vim server.properties

broker.id=0

port=9092 #端口号

host.name=172.30.0.9 #服务器IP地址，修改为自己的服务器IP

log.dirs=/usr/local/logs/kafka #日志存放路径，上面创建的目录

zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

5.编写脚本

vim zookeeper_start.sh

启动zookeeper

/usr/local/kafka_2.13-2.5.0/bin/zookeeper-server-start.sh /usr/local/kafka_2.13-2.5.0/config/zookeeper.properties &

编写kafka启动脚本

vim kafka_start.sh

启动kafaka

/usr/local/kafka_2.13-2.5.0/bin/kafka-server-start.sh /usr/local/kafka_2.13-2.5.0/config/server.properties &

编写zookeeper停止脚本

vim zookeeper_stop.sh

停止zookeeper

/usr/local/kafka_2.13-2.5.0/bin/zookeeper-server-stop.sh /usr/local/kafka_2.13-2.5.0/config/zookeeper.properties &

编写kafka停止脚本

vim kafka_stop.sh

停止kafka

/usr/local/kafka_2.13-2.5.0/bin/kafka-server-stop.sh /usr/local/kafka_2.13-2.5.0/config/server.properties &

启动关闭脚本赋予权限

chmod 777 kafka_start.sh

chmod 777 kafka_stop.sh

chmod 777 zookeeper_start.sh

chmod 777 zookeeper_stop.sh

7.先启动zookeeper在启动kafka

./zookeeper_start.sh---------------------------------------------启动zookeeper

./kafka_start.sh----------------------------------------------------启动kafka

ps -ef | grep zookeeper------------------------------------------查看zookeeper进程状态

ps -ef | grep kafka-------------------------------------------------查看kafka进程状态

若出现kafka.common.InconsistentClusterIdException: The Cluster ID MoJxXReIRgeVz8GaoglyXw doesn’t match stored clusterId Some(t4eUcr1HTVC_VjB6h-vjyA) in meta.properties异常解决方法 意思是集群id跟元数据meta.properties中存储的不一致，导致启动失败。因此去查看meta.properties文件中的元数据信息。这个文件的存储路径是通过/config/server.properties配置文件中的log.dirs属性配置的。所以通过配置文件找到meta.properties，修改里面的cluster.id即可。 将异常信息中的Cluster ID MoJxXReIRgeVz8GaoglyXw写入

5.8启动elasticsearch

启动es出现以下错误是不能用root用户进行启动es

groupadd es

-g 指定组 -p 指定密码

useradd es -g es -p es

-R : 处理指定目录下的所有文件

chown -R es:es /usr/local/elasticsearch-7.9.3/
chown -R es:es /usr/local/kibana-7.9.3-linux-x86_64
su es
./elasticsearch -d

5.9启动kibana(也是只能用es用户启动)

nohup bin/kibana >output 2>&1 &

访问 http://10.20.22.30:5601/ ，即可访问 kibana 

5.10、启动filebeat

su root #切换成root用户

nohup ./filebeat -e -c filebeat.yml >output 2>&1 &

5.11、启动logstash

nohup ./bin/logstash -f ./config/logstash.conf >output 2>&1 &

5.12、启动zipkin

nohup java -jar zipkin-server-2.19.0-exec.jar --KAFKA_BOOTSTRAP_SERVERS=10.20.22.30:9092 --STORAGE_TYPE=elasticsearch --ES_HOSTS=http://10.20.22.30:9200 >output 2>&1 &

访问 http://10.20.22.30:9411/zipkin/ 即可查看zipkin

5.13测试

在/home/aisys/logs/yoostar-gateway放入日志文件

Elasticsearch查询索引数据

kinaba查看数据

或者

5.14采用filebeat自带的module收集日志 我这里就举例收集nginx日志

启动module默认都是disable的

./filebeat modules enable nginx

修改配置文件

vim modules.d/nginx.yml

由于我filebeat配置是一个日志文件对应一个topic所以还需要修改nginx对应的数据topic

vim module/nginx/error/config/nginx-error.yml

vim module/nginx/access/config/nginx-access.yml

再次重启filebeat大功告成

写的不错记得关注博主一波