ELK + filebeat + kafka 非集群搭建日志管理系统

最新推荐文章于 2024-05-18 08:00:00 发布

哦呦，小不点

最新推荐文章于 2024-05-18 08:00:00 发布

阅读量826

点赞数 2

分类专栏： ELK 文章标签： elk

本文链接：https://blog.csdn.net/weixin_44053548/article/details/120769345

版权

ELK 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

ELK + filebeat + kafka 搭建日志管理系统

因为当前项目遇到报错都是要手动去服务器查看日志，比较耗时所以公司决定使用日志管理系统，正好有机会学习一下

ELK介绍：

ELK = Elasticsearch, Logstash, Kibana    是一套实时数据收集，存储，索引，检索，统计分析及可视化的解决方案。最新版本已经改名为Elastic Stack，并新增了Beats项目。
    
Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
    
Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。
    
Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。

filebeat介绍：

Filebeat是用于转发和集中日志数据的轻量级传送工具。Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或 Logstash进行索引。

kafka介绍：

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等

环境配置参考链接：https://www.yangxinghui.com/1389.html（环境的基础配置和优化全部取自该链接，以及安装的相关配置）

环境准备：

39.105.158.137   filebeat + kafka  nginx日志 4核4G
106.22.15.169   elasticsearch + kibana  4核4G
113.31.158.160   logstash  8核8G

软件版本：

Elasticsearch：elasticsearch-7.5.1-linux-x86_64.tar.gz

Kibana：kibana-7.5.1-linux-x86_64.tar.gz

Logstash：logstash-7.5.1.tar.gz

Filebeat：filebeat-7.5.1-linux-x86_64.tar.gz

JDK：jdk-11.0.1_linux-x64_bin.tar.gz

Zookeeper：zookeeper-3.4.10.tar.gz

Kafka：kafka_2.12-2.5.0.tgz

安装JDK环境（为了方便我在三台服务器都进行了配置）

可以选择官网下载本地之后在上传服务器或直接在服务器下载

[root@localhost data]# wget https://mirrors.yangxingzhen.com/jdk/jdk-11.0.1_linux-x64_bin.tar.gz

[root@localhost data]# tar zxf jdk-11.0.1_linux-x64_bin.tar.gz -C /usr/local

#配置/etc/profile，添加以下内容

[root@localhost local]# vim /etc/profile

export JAVA_HOME=/usr/local/jdk-11.0.1
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin

[root@localhost local]# source /etc/profile

[root@localhost local]# java -version

#看到如下信息，java环境配置成功

java version "11.0.1" 2018-10-16 LTS
Java(TM) SE Runtime Environment 18.9 (build 11.0.1+13-LTS)
Java HotSpot(TM) 64-Bit Server VM 18.9 (build 11.0.1+13-LTS, mixed mode)

创建ELK用户

[root@localhost ~]# useradd elk

在 39.105.158.137 服务器中安装 zookeeper 和 kafka

安装Zookeeper

1. 下载Zookeeper包

[root@localhost data]# wget -c http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

2. 解压安装配置Zookeeper

[root@localhost data]# tar zxf zookeeper-3.4.10.tar.gz

[root@localhost data]# mv zookeeper-3.4.10 /usr/local/zookeeper

[root@localhost data]# cd /usr/local/zookeeper/

3. 创建快照日志存放目录：

[root@localhost zookeeper]# mkdir -p data

4. 创建事务日志存放目录：

[root@localhost zookeeper]# mkdir -p logs

【注意】:如果不配置dataLogDir，那么事务日志也会写在data目录中。这样会严重影响zookeeper的性能。因为在zookeeper吞吐量很高的时候，产生的事务日志和快照日志太多。

[root@localhost zookeeper]# cd conf/

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

[root@localhost conf]# vim zoo.cfg

#配置内容

#服务器之间或客户端与服务器之间的单次心跳检测时间间隔，单位为毫秒
tickTime=2000
#集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）
initLimit=10
#集群中flower服务器（F）跟leader（L）服务器之间的请求和答应最多能容忍的心跳数
syncLimit=5
#客户端连接Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求
clientPort=2181
#存放数据文件
dataDir=/usr/local/zookeeper/data
#存放日志文件
dataLogDir=/usr/local/zookeeper/logs
#Zookeeper cluster，2888为选举端口，3888为心跳端口
#服务器编号=服务器IP:LF数据同步端口:LF选举端口
server.1=39.105.158.137:2888:3888

[root@localhost conf]# echo "1" > /usr/local/zookeeper/data/myid

5.启动Zookeeper服务

[root@localhost conf]# /usr/local/zookeeper/bin/zkServer.sh start

安装Kafka

1. 下载Kafka软件包

[root@localhost data]# wget -c https://archive.apache.org/dist/kafka/2.5.0/kafka_2.12-2.5.0.tgz

2. 解压Kafka软件包

[root@localhost data]# tar xf kafka_2.12-2.5.0.tgz
    
[root@localhost data]# mv kafka_2.12-2.5.0 /usr/local/kafka

3.配置Kafka

[root@localhost data]# vim /usr/local/kafka/config/server.properties

broker.id=0
listeners=PLAINTEXT://39.105.158.137:9092 #需要开启 9092端口
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=10
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=39.105.158.137:2181  #需要开启 2181端口
zookeeper.connection.timeout.ms=60000
group.initial.rebalance.delay.ms=0

4.启动Kafka服务

注：需要等待Zookeeper服务器启动再启动Kafka，不然会报错

[root@localhost data]# /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties

在 106.22.15.169 中安装 elasticsearch 和 kibana

安装elasticsearch

1. 创建持久化目录及Logs日志目录

[root@localhost data]# mkdir -p /data/elasticsearch/{data,logs}

2. 下载elasticsearch软件包

[root@localhost data]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.1-linux-x86_64.tar.gz

3. 解压并重命名

[root@localhost data]# tar xf elasticsearch-7.5.1-linux-x86_64.tar.gz

[root@localhost data]# mv elasticsearch-7.5.1 /usr/local/elasticsearch

4. 修改elasticsearch.yml配置文件，文件内容如下

[root@localhost data]# vim /usr/local/elasticsearch/config/elasticsearch.yml

# 集群名称
cluster.name: es
# 节点名称
node.name: es-master
# 存放数据目录,先创建该目录
path.data: /data/elasticsearch/data
# 存放日志目录,先创建该目录
path.logs: /data/elasticsearch/logs
# 节点IP
network.host: 0.0.0.0
# tcp端口
transport.tcp.port: 9300
# http端口
http.port: 9200 #需要开启 9200 端口
# 主合格节点列表，若有多个主节点，则主节点进行对应的配置
cluster.initial_master_nodes: ["106.22.15.169:9300"]
# 是否允许作为主节点
node.master: true
# 是否保存数据
node.data: true
node.ingest: false
node.ml: false
cluster.remote.connect: false
# 跨域
http.cors.enabled: true
http.cors.allow-origin: "*"

5. ELK用户授权

[root@localhost data]# chown -R elk.elk /usr/local/elasticsearch/

[root@localhost data]# chown -R elk.elk /data/elasticsearch/*

6. 启动elasticsearch服务（第一次先测试好然后再加-d后台启动）

[root@localhost data]# su - elk

[elk@localhost data]$ /usr/local/elasticsearch/bin/elasticsearch

7. 后台启动elasticsearch服务

[elk@localhost data]$ /usr/local/elasticsearch/bin/elasticsearch -d

8.监控检测

[elk@localhost ~]$ curl -X GET 'http://106.22.15.169:9200/_cluster/health?pretty'
{
   "cluster_name" : "es",
    "status" : "green",
    "timed_out" : false,
    "number_of_nodes" : 1,
    "number_of_data_nodes" : 1,
    "active_primary_shards" : 18,
    "active_shards" : 18,
    "relocating_shards" : 0,
    "initializing_shards" : 0,
    "unassigned_shards" : 13,
    "delayed_unassigned_shards" : 0,
    "number_of_pending_tasks" : 0,
    "number_of_in_flight_fetch" : 0,
    "task_max_waiting_in_queue_millis" : 0,
    "active_shards_percent_as_number" : 58.06451612903226
}
# status = green 表示服务正常

9.配置SSL并启用X-Pack

9.1、X-pack是什么？

X-Pack是Elastic Stack扩展功能，提供安全性，警报，监视，报告，机器学习和许多其他功能。ES7.0+之后，默认情况下，当安装Elasticsearch时，会安装X-Pack，无需单独再安装。

X-Pack安全配置的核心四步骤：

1）设置：xpack.security.enabled: true。

2）生成TLS证书。

3）配置加密通信。

4）设置密码。

9.2、生成节点证书

[elk@master ~]$ cd /usr/local/elasticsearch/bin

[elk@master bin]$ ./elasticsearch-certutil ca -out /usr/local/elasticsearch/config/elastic-certificates.p12 -pass "123456"

9.3、配置加密通信

[elk@master bin]$ vim ../config/elasticsearch.yml

# 配置X-Pack
http.cors.allow-headers: Authorization
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.transport.ssl.verification_mode: certificate
xpack.security.transport.ssl.keystore.path: elastic-certificates.p12
xpack.security.transport.ssl.truststore.path: elastic-certificates.p12

9.4、创建证书时输入了密码，那可以通过下面的方法设置。（生成的时候也可以不设置密码）

# 输入生成证书的密码即可

[elk@master bin]$ ./elasticsearch-keystore add xpack.security.transport.ssl.keystore.secure_password

[elk@master bin]$ ./elasticsearch-keystore add xpack.security.transport.ssl.truststore.secure_password

9.5、重启Elasticsearch

# 配置为使用TLS的节点无法与使用未加密网络的节点通信（反之亦然）。启用TLS后，必须重新启动所有节点才能保持群集之间的通信。

# 通过查询端口获取PID号

[elk@master bin]$ netstat -lntup |grep 9200

# 杀掉PID号

[elk@master bin]$ kill -9 3337

[elk@master bin]$ /usr/local/elasticsearch/bin/elasticsearch -d

ElasticSearch配置用户名密码

[elk@localhost ~]$ /usr/local/elasticsearch/bin/elasticsearch-setup-passwords interactive

注：这里为了方便演示，密码统一设置为 123456

在这里插入图片描述

注：配置了密码之后获取集群状态命令如下

[elk@localhost ~]$ curl --user elastic:123456 -X GET 'http://106.22.15.169:9200/_cluster/health?pretty'

Elasticsearch常用命令

curl -XDELETE 'http://106.22.15.169:9200/logstash-*' 删除索引(后面为索引名称)

curl -XGET 'http://106.22.15.169:9200/_cat/health?v&pretty' 查看集群状态

curl -XGET 'http://106.22.15.169:9200/_cat/indices?v&pretty' 查看索引

安装Kibana

1. 下载Kibana软件包

[root@localhost data]$ wget https://artifacts.elastic.co/downloads/kibana/kibana-7.5.1-linux-x86_64.tar.gz

2. 解压Kibana软件包并重命名

[root@localhost data]$ tar xf kibana-7.5.1-linux-x86_64.tar.gz

[root@localhost data]$ mv kibana-7.5.1-linux-x86_64 /usr/local/kibana

3. 配置Kibana配置文件

[root@localhost data]$ vim /usr/local/kibana/config/kibana.yml

# 配置kibana的端口
server.port: 5601

# 配置监听ip
server.host: "0.0.0.0"

# 配置es服务器的ip，如果是集群则配置该集群中主节点的ip
elasticsearch.hosts: ["http://106.22.15.169:9200"]
elasticsearch.username: "elastic"
elasticsearch.password: "123456"

# 配置kibana的日志文件路径，不然默认是messages里记录日志
logging.dest: /usr/local/kibana/logs/kibana.log

# 配置为中文 
i18n.locale: "zh-CN"

4.创建日志目录并授权

[root@localhost ~]# mkdir /usr/local/kibana/logs

[root@localhost ~]# chown -R elk.elk /usr/local/kibana/

5.启动Kibana服务

[root@localhost ~]# su - elk

前台启动

[elk@localhost ~]$ /usr/local/kibana/bin/kibana

后台启动

[elk@localhost ~]$ /usr/local/kibana/bin/kibana &

温馨提示：可以先前台启动查看日志，正常之后在后台启动。

在 39.105.158.137 服务器中安装 filebeat

安装filebeat

1. 下载filebeat软件包

[root@localhost data]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.5.1-linux-x86_64.tar.gz

2. 解压并重命名

[root@localhost data]# tar xf filebeat-7.5.1-linux-x86_64.tar.gz

[root@localhost data]# mv filebeat-7.5.1-linux-x86_64 /usr/local/filebeat

3. 编辑filebeat.yml配置文件，配置内容如下

[root@localhost data]# vim /usr/local/filebeat/filebeat.yml
#========= Filebeat inputs ==========
filebeat.inputs:
- type: log
 enabled: true
 paths:
   - /data/wwwlogs/nginx/nginx-access.log
 fields:
   log_source: nginx-access
- type: log
 enabled: true
 paths:
   - /data/wwwlogs/nginx/nginx-error.log
 fields:
   log_source: nginx-error
output.kafka:
  enabled: true
  hosts: ["39.105.158.137:9092"]
  topic: "nginx-log"

4.创建Filebeat日志目录

[root@localhost ~]# mkdir /usr/local/filebeat/logs

[root@localhost ~]# chown -R elk.elk /usr/local/filebeat

5.启动filebeat服务

[root@localhost ~]# su - elk

[elk@localhost ~]# cd /usr/local/filebeat

前台启动

[elk@localhost filebeat]$ ./filebeat -e -c filebeat.yml >>logs/filebeat.log

后台启动

[elk@localhost filebeat]$ nohup ./filebeat -e -c filebeat.yml >>logs/filebeat.log >/dev/null 2>&1 &

在 113.31.158.160 服务器中安装 logstash

安装logstash

1. 下载软件包

[root@localhost data]# wget https://artifacts.elastic.co/downloads/logstash/logstash-7.5.1.tar.gz

2. 解压并重命名

[root@localhost data]# tar zxf logstash-7.5.1.tar.gz

[root@localhost data]# mv logstash-7.5.1 /usr/local/logstash

3. 创建log.conf文件，添加以下内容

[root@localhost ~]# vim /usr/local/logstash/config/log.conf

input {
  kafka {
     bootstrap_servers => "39.105.158.137:9092"
     topics => "nginx-log"
     codec => json
  }
}
filter {
  if [fields][log_source]=="nginx-access"{
    grok {
      match => {
           "message" => '%{IP:clientip}\s*%{DATA}\s*%{DATA}\s*\[%{HTTPDATE:requesttime}\]\s*"%{WORD:requesttype}.*?"\s*%{NUMBER:status:int}\s*%{NUMBER:bytes_read:int}\s*"%{DATA:requesturl}"\s*%{QS:ua}'
      }
      overwrite => ["message"]
     }
   }
   if [fields][log_source]=="nginx-error"{
     grok {
       match => {
         "message" => '(?<time>.*?)\s*\[%{LOGLEVEL:loglevel}\]\s*%{DATA}:\s*%{DATA:errorinfo},\s*%{WORD}:\s*%{IP:clientip},\s*%{WORD}:%{DATA:server},\s*%{WORD}:\s*%{QS:request},\s*%{WORD}:\s*%{QS:upstream},\s*%{WORD}:\s*"%{IP:hostip}",\s*%{WORD}:\s*%{QS:referrer}'
       }
       overwrite => ["message"]
     }
   }
}

output {
  if [fields][log_source] == "nginx-access" {
      elasticsearch {
          hosts => ["106.22.15.169:9200"]
          user => "elastic"
          password => "123456"
          action => "index"
          index => "nginx_access.log-%{+YYYY.MM.dd}"
      }
  }
  if [fields][log_source] == "nginx-error" {
      elasticsearch {
          hosts => ["106.22.15.169:9200"]
          user => "elastic"
          password => "123456"
          action => "index"
          index => "nginx_error.log-%{+YYYY.MM.dd}"
      }
  }

4.启动logstash服务

[root@localhost ~]# chown -R elk.elk /usr/local/logstash

[root@localhost ~]# su - elk

前台启动

[elk@localhost ~]$ /usr/local/logstash/bin/logstash -f /usr/local/logstash/conf/elasticsearch.conf

后台启动

[elk@localhost ~]$ cd /usr/local/logstash/bin && nohup ./logstash -f /usr/local/logstash/config/elasticsearch.conf >/dev/null 2>&1 &

访问Kibana

# 浏览器访问：http://106.22.15.169:5601，出现如下界面
在这里插入图片描述
输入前面设置的用户名:elastic和密码:123456登录后，出现如下界面

选择自己浏览，出现以下界面

分别点击 “设置“ 图标 => 索引管理，这时候就能看到 nginx 的索引信息

1.创建Nginx访问日志索引

索引模式 => 创建索引模式，输入索引模式名称，点击下一步 在这里插入图片描述

2.创建nginx错误日志索引

索引模式 => 创建索引模式，输入索引模式名称，点击下一步
在这里插入图片描述

点击Discover，就能看到日志数据了，如下图
至此，ELK日志分析平台收集Nginx日志搭建完成。

特别说明：

此文章主要参考：https://www.yangxinghui.com/1400.html（Linux搭建ELK-7.5.1分布式集群及配置X-Pack）,https://www.yangxinghui.com/1389.html（Linux搭建ELK+Filebeat+Kafka分布式日志管理平台） 两篇文章，主要配置基本一致，然后配置时出现些错误，经过自己查询解决，按照此配置基本不会出现问题，已经将遇到的问题解决后编写此文章

哦呦，小不点

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
ELK + filebeat + kafka 非集群搭建日志管理系统

ELK + filebeat + kafka 搭建日志管理系统因为当前项目遇到报错都是要手动去服务器查看日志，比较耗时所以公司决定使用日志管理系统，正好有机会学习一下ELK介绍：ELK = Elasticsearch, Logstash, Kibana 是一套实时数据收集，存储，索引，检索，统计分析及可视化的解决方案。最新版本已经改名为Elastic Stack，并新增了Beats项目。 Elasticsearch 是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点
复制链接

扫一扫