ELK 日志分析

前言

本文介绍了使用 ELK 进行日志分析，ELK 选用版本 7.1.1

---

一、Elasticsearch 安装与配置

 

1. 创建用户

     在 Linux 环境中，elasticsearch 不允许以 root 权限来运行。

     如果以 root 身份运行 elasticsearch，会提示这样的错误：

     can not run elasticsearch as root

     解决方法：使用非 root 权限账号运行 elasticsearch

     # 创建用户组

     groupadd elk

     # 创建新用户，-g elk 设置其用户组为 elk，-p elk 设置其密码为 elk

     useradd elk -g elk -p elk

     # 更改 /elk 文件夹及内部文件的所属用户及组为 elk:elk

     chown -R elk:elk /elk # 假设你的 elasticsearch 安装在 elk 目录下

     # 切换账号

     su elk

 

 2.  下载 

       wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.1-linux-x86_64.tar.gz

 3.  解压

      tar xzvf elasticsearch-7.1.1-linux-x86_64.tar.gz

4. 修改 elasticsearch 配置文件 

      vi config/elasticsearch.yml

      添加如下配置

      cluster.name: my-application 

      node.name: node-1 

      cluster.initial_master_nodes: node-1

      network.host: 0.0.0.0

      http.port: 9200

      discovery.seed_hosts: ["127.0.0.1", "[::1]"]

5. 修改 /etc/sysctl.conf 配置文件  -  需要切换到 root 用户

    vi /etc/sysctl.conf 

    添加如下配置

    vm.max_map_count=262144

6. 修改  /etc/security/limits.conf 配置  -  需要切换到 root 用户

    vi /etc/security/limits.conf

    添加如下配置

    elk soft nofile 65536
    elk hard nofile 65536

7.  后台启动 - 使用 elk 用户重新登录 

     nohup bin/elasticsearch > service.out& 

8. 检查是否启动成功

    ps -ef|grep elasticsearch

 浏览器访问 : http://localhost:9200/     localhost 换成服务器ip

 

二、Logstash 安装与配置

1. 下载 logstash 

     wget https://artifacts.elastic.co/downloads/logstash/logstash-7.1.1-linux-x86_64.tar.gz

2. 解压 

    tar xzvf logstash-7.1.1-linux-x86_64.tar.gz

3. 复制一个新的配置文件  

    cp config/logstash-sample.conf   logstash.conf

4. 修改 logstash.conf  文件 

input {
  file {
        path => ["/data/quotation-service/app/logs/common-biz.log"]
        type => "quotation-service-app-logs"
        start_position => "beginning"
    }
}

output {
  if [type] == "quotation-service-app-logs" {
      elasticsearch {
         hosts => ["http://localhost:9200"]
         index => "quotation-service-app-logs"
      }
   }
}

5. 后台启动 

    nohub bin/logstash -f config/logstash.conf > service.out&

    检查是否启动成功 ps -ef|grep logstash

三、Kibana 安装与配置

1. 下载 

   wget https://artifacts.elastic.co/downloads/kibana/kibana-7.1.1-linux-x86_64.tar.gz

2. 解压

   tar xzvf kibana-7.1.1-linux-x86_64.tar.gz

3. 修改 config/kibana.yml 配置

    vi config/kibana.yml

    添加如下配置

     server.port: 5601

     server.host: "0.0.0.0"    # 运行 kibana 服务器的 IP

     elasticsearch.hosts: ["http://localhost:9200"]   #  elasticsearch 服务的地址

4.  后台运行 Kibana 

    nohup bin/kibana > service.out&

5.  检查是否运行成功

     ps - ef|grep kibana

     浏览器访问 http://localhost:5601  -  localhost 换成服务器IP

6.  创建索引模式

    第一步

第二步

7. 开始使用