EFK（elasticsearch+filebeat+kibana）日志收集系统搭建记录

一、安装包下载(本文附带安装包均为6.7.1版)

• kibana-windows-64
• Kibana-linux-tar
• elasticsearelech-windows-64
• elasticsearch-linux-tar
• filebeat-windows-64
• filebeat-linux-tar

二、安装

注：

1. winows版本解压后可以直接使用，运行对应名称的bat文件即可（filebeat 需要使用命令,如下：）

filebeat.exe -e -c filebeat.yml

2. winows版本的配置文件与Linux版本相同

1.Linux 安装使用 elasticsearelech

1. 下载Elasticsearch
2. 解压：tar -xvf elasticsearch-6.7.1.tar.gz
3. 修改 elasticsearch.yml配置（直接覆盖）：

vi /etc/elasticsearch/elasticsearch.yml    

##下面为配置文件内容##

###### ---------------------------------- Cluster 客户端-----------------------------------

cluster.name: sky

###### ------------------------------------ Node 节点 ------------------------------------
#
node.name: node-1
#

###### ----------------------------------- Paths 登记数据和日志路径 ------------------------------------

path.data: /var/lib/elasticsearch  ##需要自己建

path.logs: /var/log/elasticsearch
###### ---------------------------------- Network 开放远程连接端口和地址 -----------------------------------
network.host: 0.0.0.0

http.port: 9205

###### --------------------------------- Discovery ----------------------------------
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]##修改为服务器地址

###### ---------------------------------- Gateway -----------------------------------
无
###### ---------------------------------- Various   增加配置参数-----------------------------------
http.cors.enabled: true
http.cors.allow-origin: "*"
bootstrap.memory_lock: false
bootstrap.system_call_filter: false

4. 修改系统参数，不修改可能达到系统瓶颈，导致软件崩溃（直接在最后添加）
   vi /etc/sysctl.conf

vm.max_map_count=655360

5. 添加之后运行sysctl –p，如果报错：sysctl: cannot stat /proc/sys/–p: No such file or directory，则运行如下代码：

1、 modprobe br_netfilter

2、 ls /proc/sys/net/bridge

3、 sysctl -p

6. vi /etc/security/limits.conf（直接在最后添加）

*   soft    nofile  65536
*   hard        nofile  131072
*   soft        nproc   65536
*   hard        nproc   131072

7. vi /etc/security/limits.d/20-nproc.conf（直接在最后添加）

当前用户     soft    nproc       65536

8. 运行elasticsearelech：

nohup ./elasticsearelech &

9. 验证启动效果:

curl http://localhost:9205

2.Linux 安装使用 Kibana

1. 下载tar包
2. 解压
3. 修改kibana.yml配置（直接覆盖）

server.port: 5601
server.host: "192.168.0.1" # 修改为kibana服务器地址
elasticsearch.hosts: ["http://Ip:9205"] # Ip为之前安装ES的服务器地址
i18n.locale: "zh-CN" # 这是设置为中文

4. 运行kibana：

nohup ./kibana &

5. 验证启动效果:
   通过浏览访问kibana服务器地址：5601

3.Linux 安装使用 filebeat

1. 下载tar包
2. 解压
3. 修改filebeat.yml配置（直接覆盖）

filebeat.inputs:
 - type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取
   paths:
    - /var/log/nginx/access.log
   fields:
    index: 'nginx-log'
 - type: log #默认log，从日志文件读取每一行。stdin，从标准输入读取
   paths:
    - /var/log/nginx/error.log
   fields:
    index: 'nginx-error-log'
setup.kibana:
  host: "kibana服务器地址:5601"
output.elasticsearch:
  hosts: ["elasticsearelech服务器地址:9205"]
  indices:
    - index: "nginx-log-%{+yyyy.MM.dd}" #每天自动生成一个索引
      when.contains:
        fields:
          index: "nginx-log"
    - index: "nginx-error-log-%{+yyyy.MM.dd}" #每天自动生成一个索引
      when.contains:
        fields:
          index: "nginx-error-log"

4. 运行kibana：

nohup ./filebeat -e -c filebeat.yml &

5. 验证启动效果:
   通过浏览访问kibana服务器地址：5601
   左边菜单 管理>索引管理>即可找到当天生成的索引