Elk日志分析系统

前言：

Elk日志分析系统：

概念 ：elk是一套完整的日志集中处理方案，由三个开源的软件简称组成：

E:elasticSearch ES是一个开源的，分布式的存储检索引擎（索引的非关系型数据库），存储日志

是基于Java代码开发的，基于lucence结构开发的发一套全文检索引擎，拥有一个web接口，用户可以通过浏览器的形式和ES组件进行通信

作用：存储，允许全文搜索，结构化搜索（索引点），索引点可以支持大容量的日志数据，也可以所有不同类型的文档

K：kiabana图形化界面，可以更好的分析存储在ES上的日志数据，提供了一个图形化的界面，来浏览ES上的日志数据，汇总，分析，搜索

L：logstash数据搜索引擎，支持动态的（实时的）从各种服务应用收集日志资源，还可以对收集到的日志进行过滤，分析，丰富，统一格式等等操作，然后把数据同步到ES存储引擎

他是由一个Ruby语言编写的，运行在Java虚拟机上的一个强大的数据处理工具，数据传输，格式化处理，格式化输出，主要用来处理日志

一些数据收集工具：

Fliebeat轻量级的开源的，日志收集共计，收集的速度比较快，但是没有数据分析的能力和过滤能力，一般和logstash结合使用

Kafka中间消息队列

rabbitMQ中间件消息队列

架构图：

Elk的核心作用：

当我们管理一个大集群时，需要分析和定位的日志很多，每台服务器分别去分析，将会耗时耗力，所以我们应运而生了一个elk，一个日志分析系统，极大的分太高了定位问题的效率

日志系统的特征：

1. 收集，可以收集基本上市面上常用的软件日志
2. 传输，收集到的日志需要发送到ES上
3. 存储，ES负载存储数据
4. UI：图形化界面（kiabanna）

实验部分：

用到三台主机：

Es:20.0.0.52

Es2:20.0.0.53

Logstash kiabanna 20.0.0.51（4核8G）

三台组件最要2核4G，Logstash kiabanna建议4核8G

前提：

systemctl stop firewalld

setenforce 0

两台ES虚拟机：

环境准备

#设置Java环境

java -version #如果没有安装，yum -y install java

openjdk version "1.8.0_131"

OpenJDK Runtime Environment (build 1.8.0_131-b12)

OpenJDK 64-Bit Server VM (build 25.131-b12, mixed mode)

两台ES操作：

进入配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

分别对2,3配置文件修改

vim /etc/elasticsearch/elasticsearch.yml

17行，空格要保留

名字不能重复

取消注释，指定数据存放路径（可以修改，一般设置为/opt/log）

取消注释，指定日志存放路径

取消注释，避免es使用swap交换分区（必要情况下，将他注释,这里将他注释）

取消注释，设置监听地址，0.0.0.0代表所有地址

取消注释，ES 服务的默认监听端口为9200

http.port: 9200 #指定es集群提供外部访问的接口

transport.tcp.port: 9300 #指定es集群内部通信接口

取消注释，集群发现通过单播实现，指定要发现的节点

另一台ES：

注释掉（否则会炸）实验环境无需打开

取反，验证，两台都要

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

开启服务，设为开机自启动

systemctl start elasticsearch.service

systemctl enable elasticsearch.service

netstat -antp | grep 9200

端口起才是真的起，这个配置文件，写错了不报错

定位日志报错信息，里面有所有的日志

检测一下，已经可以正常使用

查看集群的监控状态

http://20.0.0.52:9200/_cluster/health?pretty

绿色表示正常，黄色表示故障

两台es:

安装 Elasticsearch-head 插件

Elasticsearch 在 5.0 版本后，Elasticsearch-head 插件需要作为独立服务进行安装，

需要使用npm工具（NodeJS的包管理工具）安装。

安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。

node：是一个基于 Chrome V8 引擎的 JavaScript 运行环境。

phantomjs：是一个基于 webkit 的JavaScriptAPI，可以理解为一个隐形的浏览器，

任何基于 webkit 浏览器做的事情，它都可以做到

yum install gcc gcc-c++ make -y

cd /opt

tar zxvf node-v8.2.1.tar.gz

cd node-v8.2.1/

./configure

make && make install

安装 phantomjs

cd /opt

tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2

cd /opt/phantomjs-2.1.1-linux-x86_64/bin

cp phantomjs /usr/local/bin

安装 Elasticsearch-head 数据可视化工具

cd /opt

unzip elasticsearch-head-master.zip

cd elasticsearch-head-master/

npm install  //安装依赖包

特殊的安装方式nmp install

如果嫌慢，换成淘宝镜像

npm config set registry http://registry.npm.taobao.org/  

#再次安装

npm install

修改 Elasticsearch 主配置文件

vim /etc/elasticsearch/elasticsearch.yml

末行插入

http.cors.enabled: true

开启跨域访问的支持

http.cors.allow-origin: "*"

开启跨域访问之后，允许访问的域名地址 *：所有

systemctl restart elasticsearch

启动 elasticsearch-head 服务

#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。

cd /opt/elasticsearch-head-master

npm run start &

9100可视化工具的访问端口；9200是ES数据库的访问端口

检测：插入一个索引，测试

curl -X PUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

加粗的黑框是主索引节点，没加粗的

到test1（主机一）：

hostnamectl set-hostname apache

安装Apahce服务（httpd）

yum -y install httpd

systemctl start httpd

安装Java环境

yum -y install java

java -version

安装logstash

设为开机自启动和开启

systemctl start logstash.service                      

systemctl enable logstash.service

让系统识别

ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

#可以指定logstash的工作目录，默认为：/etc/logstash/conf.d

path.config: /opt/log

Logstash的命令常用选项：

-f指定配置文件，根据文件识别输入和输出流

-e一般用于测试，从命令行当中获取输入，然后传送到logstash加工之后，形成一个标准输出

-t检测配置文件是否正确，然后退出

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

#使用 rubydebug 输出详细格式显示，codec 为一种编解码器

logstash -e 'input { stdin{} } output { stdout{} }'

所有的键盘命令行输出，转化成标准输出（Rubydebug的模式），6.0之后logstash的默认输出格式就是Rubydebug格式的标准输出

真正的转发，不在测试

表示已经成功

区分不同的数据存放目录

6.0之后logstash自带的输出格式Rubydebug，自动的把输出格式，定义为统一的标准格式输出

安装kibanna可视化工具

监听端口

配置es服务器的ip，如果是集群则配置该集群中master节点的ip

设置在 elasticsearch 中添加.kibana索引

取消注释，配置kibana的日志文件路径（需手动创建），不然默认是messages里记录日志

改成中文

创建日志文件，启动 Kibana 服务

touch /var/log/kibana.log

chown kibana:kibana /var/log/kibana.log

systemctl start kibana.service

systemctl enable kibana.service

netstat -natp | grep 5601

验证 Kibana

默认读取读取日志的路径

收集http日志

vim /etc/logstash/conf.d/apache_log.conf

input {

    file{

        path => "/etc/httpd/logs/access_log"

        type => "access"

        start_position => "beginning"

    }

    file{

        path => "/etc/httpd/logs/error_log"

        type => "error"

        start_position => "beginning"

    }

}

output {

    if [type] == "access" {

        elasticsearch {

            hosts => ["192.168.233.12:9200","192.168.233.13:9200"]

            index => "apache_access-%{+YYYY.MM.dd}"

        }

    }

if [type] == "error" {

        elasticsearch {

            hosts => ["192.168.233.12:9200","192.168.233.13:9200"]

            index => "apache_error-%{+YYYY.MM.dd}"

        }

    }

}

cd /etc/logstash/conf.d/

启动

/usr/share/logstash/bin/logstash -f apache_log.conf

先检查ES实例：

然后进入kibace

如何实现过滤：以前需要配置文件加入filter字段，现在是kibana自带过滤功能

如何写一个实例添加

运行：

logstash -f nginx.conf --path.data /opt/test5 &

浏览器访问 http://20.0.0.51:9100 查看索引是否创建

浏览器访问 http://20.0.0.51:5601 登录 Kibana，单击“Index Pattern -> Create Index Pattern”按钮添加索引， 在索引名中输入之前配置的 Output 前缀 apache_access-*，并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。

选择“Discover”选项卡，在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引， 可以查看相应的图表及日志信息。

补充：

如何对ES的性能进行调优：

修改打开的最大文件数

* soft nofile 65536

* hard nofile 65536

* soft nproc 32000

* hard nproc 32000

* soft memlock unlimited

* hard memlock unlimited

对系统内置文件（需要重启虚拟机才能生效）

最后一行

DefaultLimitMEMlOCK=65535

一个用户会话的默认最大文件描述符的限制量

文件描述符：用于标识打开文件或者i/o资源限制的整数

DefaultLimiNPROC=3200

一个用户可以打开的最大进程数量限制32000.一个用户的终端可以运行多少个进程

DefaultLimMEMLOCK=infinity

一个用户的终端默认锁定内存的限制，不限制

内核优化：

ES是基于lucence架构，实现的一款索引型数据库，lucene可以利用操作系统的内存来缓存ES的索引数据，提供更快的查询速度，在工作当中我们会把系统的一半内存留给lucene。

如果机器内存小于64G，50%给ES 50%给操作系统

机器内存大于64G，ES分配4-32G即可，其他的都给操作系统，供lucene

改内核配置文件：

vm.max_map_count=262144

一个进程可以拥有最大内存映射区参数

内存映射：将文件或者其他的设备映射进程地址空间的方法，允许进程直接读取或写入文件，无需常规的i/o方式

映射空间越大，ES和luncne的速度越快

2g/262144

4g/4194304

8g/8388608

总结：

ES：存储数据，索引型数据库

Logstash：收集日志，然后按照标准化格式发送给ES（Rubydebug的模式）

K:可视化工具，更人性化的显示用户信息，方便用户检索查询