ELK搭建实时日志分析平台

ELK

一、介绍

1. Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。
2. Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。
3. Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。

注：编者使用的elk版本是elasticsearch-2.4.4 logstash-2.4.1 kibana-4.6.4

    当然读者可以前往官网下载https://www.elastic.co/downloads

二、ElasticSearch

1.先配置es（集群）

tar –zxvf elasticsearch-2.4.4.tar.gz
cd elasticsearch-2.4.4

2.安装head插件（可选项，方便查看es）

./bin/plugin install mobz/elasticsearch-head  

• ElasticSearch 5.x不支持head插件如上直接安装，具体方案请自行查阅
• http访问es： http://127.0.0.1:9300/_plugin/head

3.编辑es配置文件

vi elasticsearch.yml

#修改部分
cluster.name: elk_es_cluster
node.name: elk_node1 # 其他机器修改这个配置
node.master: true   # 是否是master节点
path.data: /usr/local/test/elk/data
path.logs: /usr/local/test/elk/logs
network.host: 0.0.0.0
http.port: 9300 (默认值)
discovery.zen.minimum_master_nodes: 1 # master节点数
discovery.zen.ping.timeout: 3s    # 节点间自动发现的响应时间
discovery.zen.ping.unicast.hosts: ["127.0.0.1"]  # 其他机器填master所在IP

4.后台启动es

./bin/elasticsearch –d

三、Logstash

1.安装logstash

tar -zxvf logstash-2.4.1.tar.gz
cd logstash-2.4.1

2.编辑logstash配置文件（核心）

mkdir conf
vi conf/log4j_elk.conf
# 简易模板
input {
  stdin {}  #可以从标准输入读数据
}
output {
  stdout { codec => rubydebug }  # 直接在控制台看日志
}

3.后台启动

nohup ./bin/logstash agent –f conf/log4j_elk.conf & 

插件介绍

• input
  input {
  log4j { # 对应log4j.properties 配置SocketAppender
  mode => “server”
  host => “192.168.1.131”
  port => 13131
  }
  # 也可以配置从文件(可使用通配符进行匹配)读取
  file {
  path => “/data/web/logstash/logFile//”
  start_position => “beginning” #从文件开始处读写
  }
  }

• output
  output {
  elasticsearch {
  action => “index” #The operation on ES
  hosts => “127.0.0.1:9344” #ElasticSearch host, can be array.
  index => “applog” #The index to write data to.
  }
  }

• filter
  配置种类有点多,留在下篇文章进行较详细的讲解

四、Kibana

1.安装kibana

tar -zxvf kibana-4.6.4-linux-x86_64.tar.gz
cd kibana-4.6.4-linux-x86_64

2.配置kibana配置文件

vi config/kibana.yml

server.port: 5601
server.host: "192.168.1.131"
elasticsearch.url: http://127.0.0.1:9344   #上面elasterSearch选的master 
kibana.index: ".kibana" 

3.后台启动

nohup ./bin/kibana &

4.查询语法

如method:get*

 priority:ERROR AND method:get* (中间可以使用大写的AND、OR等)

---

至此,简单的elk搭建完成,未配置logstash的filter,但其会自动将log4j的日志分解成类似priority、thread、method、host(注:host的值来源于/etc/hosts)等字段,然后可以在kibana进行相关的日志查询了