efk日志采集系统搭建

一、简介

       在我们日常工作中,会经常通过grep等命令去查询日志。但在分布式系统中,一个应用部署在多台服务器上,查询起来效率极其低下。EFK旨在帮助我们将分布式系统中的日志进行采集并集中化管理,可帮助我们快速检索日志,高效的满足了很多场合的应用,目前EFK是一种主流的日志管理系统。ELK分别表示:Elasticsearch , Logstash, Kibana。EFK分别表示:Elasticsearch , Filebeat, Kibana。logstash 和filebeat都具有日志收集功能,filebeat更轻量,占用资源更少,但logstash 具有filter功能,能过滤分析日志。一般结构都是filebeat采集日志,然后发送到消息队列,redis,kafaka。然后logstash去获取,利用filter功能过滤分析,再存储到elasticsearch中。基于公司日志规模,便将filebeat日志发送到elasticsearch。

 

二、架构图
 

三、安装部署

1、环境准备

      PS:EFK版本请保持一致。

2、filebeat 安装

       下载FileBeat

wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.3.2-linux-x86_64.tar.gz

        解压

tar -zxvf filebeat-6.2.4-linux-x86_64.tar.gz

    进入主目录,修改filebeat.yml

filebeat.prospectors:

type: log

  enabled: true

  paths:

    # 日志采集目录

    /var/xxx/*.log

  multiline.pattern: ^\[

  multiline.negate: true

  multiline.match: after

setup.kibana:

  host: "192.168.1.1:5601"

output.elasticsearch:

  hosts: ["192.168.1.1:9200"]

        启动filebeat

./filebeat -e -c filebeat.yml -d "publish"

       后台启动

nohup ./filebeat -e -c filebeat.yml > filebeat.log 2>&1 &


3、kibana 安装

下载Kibana

wget https://artifacts.elastic.co/downloads/kibana/kibana-6.3.2-linux-x86_64.tar.gz

解压

tar -zxvf kibana-6.3.2-linux-x86_64.tar.gz

进入主目录,修改配置

vi config/kibana.yml

添加以下配置或者取消注释并修改

server.port: 5601

server.host: "0.0.0.0"

server.name: "kibana"

elasticsearch.url: "http://192.168.18.187:9400"

kibana.index: ".kibana"

xpack.security.enabled: false

#随便输入32位数字

xpack.reporting.encryptionKey: "122333444455555666666777777788888888"

其中elasticsearch.url为Elasticsearch的地址,server.host默认是localhost,如果只是本地访问可以默认localhost,如果需要外网访问,可以设置为0.0.0.0

启动Kibana

./bin/kibana &

关闭

ps -ef|grep node

kill -9 port
发布了4 篇原创文章 · 获赞 3 · 访问量 903
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览