ELK安装笔记

Elasticsearch

提供搜集、分析、存储数据三大功能

Logstash

主要是用来日志的搜集、分析、过滤日志的工具

Kibana

能够搜索、展示存储在Elasticsearch中索引数据，使用它可以很方便的用图标、表格、地图展示和分析数据

Filebeat

日志采集工具，可以上报给logstash

一. 安装阶段

1. 机器清单

IP	用途
10.0.1.1	filebeat采集日志
10.0.1.2	logstash中转日志
10.0.1.3	elasticsearch、kibana

2. 安装filebeat 10.0.1.1 服务器

yum install filebeat

3. 安装logstash 10.0.1.2 服务器

yum install java -y
yum install logstash -y 

4. 安装elasticsearch 10.0.1.3 服务器

yum install java -y

  配置yum源

 wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo

  # 末尾添加

  vim /etc/yum.repos.d/epel.repo

[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=0
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

  #安装elasticsearch

yum -y install elasticsearch

5. 安装kibana 10.0.1.3 服务器

yum -y install kibana

二. 配置阶段

1.  配置filebeat

vim /etc/filebeat/filebeat.yml 

#注释掉elasticsearch的配置

#output.elasticsearch:
  # Array of hosts to connect to.
  #hosts: ["localhost:9200"]

  # Protocol - either `http` (default) or `https`.
  #protocol: "https"

  # Authentication credentials - either API key or username/password.
  #api_key: "id:api_key"
  #username: "elastic"
  #password: "changeme"

#修改成logstash的内网IP地址

# ------------------------------ Logstash Output -------------------------------
#output.logstash:
  # The Logstash hosts
  hosts: ["10.0.1.2:5044"]

#样例：日志采集目录和规则

filebeat:
  prospectors:
    -
      input_type: log
      document_type: php_errors
      paths:
        -  /data/logs/php7/errors.log
    -
      input_type: log
      document_type: php_fpm_slow
      paths:
        -  /data/logs/php7/php-fpm-slow.log
      multiline:
        pattern: '^[[:space:]]'
        negate: true
        match: after

4. 配置

elastic设置密码

yum install -y httpd-tools

htpasswd -cb /data/conf/nginx/htpasswd elastic   fe97fljIYsffljds=f6