ELK日志分析系统

日志处理步骤

1、将日志进行集中化管理（beats）
beats包含四种工具：①Packtbeat（搜索网络流量数据）②Topbeat（搜索系统、进程和文件系统级别的CPU和内存使用情况等数据）③**Filebeat（搜索文件数据）**④Winlogbeat（搜索Windows事件日志数据）
2、将日志格式化（Logstash）并输出到Elasticsearch
3、对格式化后的数据进行索引和存储（Elasticsearch）
4、前端数据的展示

Elasticsearch的基础核心概念

1、接近实时（NRT）

elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟（通常是1秒）

2、集群（cluster）

一个集群就是由一个或者多个节点组织在一起，它们共同持有你整个的数据，并一起提供索引和搜索功能。其中一个节点为主节点，
这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能。

3、节点（node）

节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能。像集群一样，节点也是通过名字来标识,默认是在节点启动时随机分配的字符名。

4、索引（index）

一个索引由一个名字来标识（必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，如果你想，可以定义任意多的索引。
索引相对于关系型数据库的库。

5、类型(type)

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你米定。通常，会为具有一组共同字段的文档定义一个类型。

6、文档(document)

在一个index/type里面，只要你想，你可以存储任意多的文档。注意，虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。

logstash的主要组件：

Indexer:日志存储者。负责接收日志并写入到本地文件。
Broker:日志Hub。负责连接多个shipper和多个Indexer
Search and storage:允许对事件进行搜索和存储;
web Interface:基于web的展示界面

LogStash主机分类:

代理主机（agent host):作为事件的传递者( shipper)，将各种日志数据发送至中心主机:只需运行Logstash代理(agent）程序；
中心主机(central host):可运行包括中间转发器(Broker)、索引器（Indexer)、搜索和存储器（Search andStorage)

主要功能:

1、Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引。
2、整合你的数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3、复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切利分块。
4、让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
5、接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。
6、配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带web服务器，可以快速启动运行。
7、可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、Fluentd等
8、简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，发现新结果。

添加映射

[root@node2 ~]# vim /etc/hosts
192.168.235.156 node1
192.168.235.144 node2
192.168.235.179 httpd

上传JDK包到两个服务器

[root@node2 ~]# java -version

[root@node1 opt]# cd /usr/local/
[root@node1 local]# mv jdk1.8.0_91/ jdk
[root@node1 local]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 local]# source /etc/profile
[root@node1 local]# java -version

部署elasticsearch软件

[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
[root@node1 opt]# systemctl daemon-reload
[root@node1 opt]# systemctl enable elasticsearch.service 
[root@node1 opt]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# ls
elasticsearch.yml  jvm.options  log4j2.properties  scripts
[root@node1 elasticsearch]# cp elasticsearch.yml elasticsearch.yml.bak

修改两个服务器的配置文件

[root@node1 elasticsearch]# vim elasticsearch.yml
cluster.name: my-elk-cluster       #17 集群名字
node. name: nodei          #23 节点名字
path.data: /data/elk_data   #33 数据存放路径
path.logs: /var/log/elasticsearch/  #37 日志存放路径
bootstrap.memory lock: false #43 不在启动的时候锁定内存
network.host: 0.0.0.0   #55 提供服务绑定的IP地址，0.0.0.0代表所有地址
http.port: 9200    #59  侦听端口为9200
discoverv.zen.pinq.unicast.hosts:["nodel", "node2" ] #68 集群发现通过单播实现
grep -v "^#" /etc/elasticsearch/elasticsearch.yml

创建数据存放路径并授权（两台服务器）

[root@node1 elasticsearch]# mkdir -p /data/elk_data
[root@node1 elasticsearch]# chown elasticsearch:elasticsearch /data/elk_data/

开启elasticsearch（两台服务器）

[root@node1 elasticsearch]# systemctl start elasticsearch.service 
[root@node1 elasticsearch]# netstat -natp | grep 9200

宿主机上测试

安装elasticsearch-head（两台服务器）

[root@node1 opt]# yum -y install gcc gcc-c++ make

编译安装node组件（两台服务器）

[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 opt]# cd node-v8.2.1/
[root@node1 node-v8.2.1]# ./configure
[root@node1 node-v8.2.1]# make -j3
[root@node1 node-v8.2.1]# make install

安装phantomjs（两台服务器）

[root@node1 node-v8.2.1]# cd /usr/local/src/
[root@node1 src]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 

[root@node1 src]# cd phantomjs-2.1.1-linux-x86_64/
[root@node1 phantomjs-2.1.1-linux-x86_64]# cd bin/
[root@node1 bin]# cp phantomjs /usr/local/bin

安装elasticsearch-head（两台服务器）

[root@node1 bin]# cd /usr/local/src/

[root@node1 src]#tar xzvf elasticsearch-head.tar.gz

[root@node1 src]# cd elasticsearch-head/
[root@node1 elasticsearch-head]# npm install

修改配置文件（两台服务器）

[root@node1 src]# cd /etc/elasticsearch/
[root@node1 elasticsearch]# vim elasticsearch.yml
  http.cors.enabled: true    开启跨越访问支持，默认为false
http.cors.allow-origin: "*"  跨越访问允许的域名地址
[root@node1 elasticsearch]# systemctl restart elasticsearch.service

启动服务（两台服务器）

[root@node1 elasticsearch]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &

创建索引类型

[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: applion/json' -d '{"user":"zhangsan","mesg":"hello world"}'

安装Apahce服务（client）

[root@httpd ~]# yum -y install httpd
[root@httpd ~]# systemctl start httpd
[root@httpd ~]# netstat -natp | grep httpd

安装java环境

[root@httpd ~]# yum -y install java
[root@httpd ~]# java -version

安装logstash

[root@httpd ~]# cd /opt
[root@httpd opt]# rpm -ivh logstash-5.5.1.rpm 
[root@httpd opt]# systemctl start logstash.service 
[root@httpd opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/  建立logstash软连接

[root@httpd opt]# logstash -e 'input { stdin{} } output { stdout{} }'

[root@httpd opt]# logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

使用logstash将信息写入elasticsearch中

[root@httpd opt]# logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.235.144:9200"] } }'

[root@httpd opt]# chmod o+r /var/log/messages  
[root@httpd opt]# ll /var/log/messages 

配置文件中定义的收集系统日志

[root@httpd opt]# vim /etc/logstash/conf.d/system.conf
input {
        file{
         path => "/var/log/messages"
         type => "system"
         start_position => "beginning"
         }
      }
output {
         elasticsearch {
           hosts => ["192.168.235.144:9200"]
           index => "system-%{+YYYY.MM.dd}"
           }
       }
[root@httpd opt]# systemctl restart logstash.service 

在node1主机安装kibana

[root@node1 ~]# cd /usr/local/src/
[root@node1 src]# rpm -ivh kibana-5.5.1-x86_64.rpm

[root@node1 kibana]# vim kibana.yml 
server.port: 5601     #2 kibana打开的端口
server.host: "0.0.0.0"  #7   kibana侦听的地址
elasticsearch.url: "http://192.168.235.144:9200" #21 elasticsearh建立联系
kibana.index: ".kibana"  #30  在elasticsearh中添加.kibana索引
[root@node1 kibana]# systemctl start kibana.service  开启kibana服务
[root@node1 kibana]# systemctl enable kibana.service  开机启动kibana服务

[root@httpd opt]# cd /etc/logstash/conf.d/
[root@httpd conf.d]# vim apache_log.conf
input { 
        file{ 
         path => "/etc/httpd/logs/access_log"
         type => "access"
         start_position => "beginning"
         }
        file{
         path => "/etc/httpd/logs/error_log"
         type => "error"
         start_position => "beginning"
         }
      }
output { 
         if [type] == "access" {
         elasticsearch {
           hosts => ["192.168.235.144:9200"]
           index => "apache_access-%{+YYYY.MM.dd}"
           }
       }
         if [type] == "error" {
         elasticsearch {
           hosts => ["192.168.235.144:9200"]
           index => "apache_error-%{+YYYY.MM.dd}"
           }
       }
       }
[root@httpd conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf