一 ELK是什么?
在项目初期的时候,大家都是赶着上线,一般来说对日志没有过多的考虑,当然日志量也不大,所以用log4j就够了,随着应用的越来越多,日志散落在各个服务器的logs文件夹下,确实有点不大方便。
当我们需要日志分析的时候你大概会这么做:直接在日志文件中 grep、awk 就可以获得自己想要的信息。
那你们想过这种方式的问题吗?
1.日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询
2.应用太多,面临数十上百台应用时你该怎么办
3.随意登录服务器查询log对系统的稳定性及安全性肯定有影响
4.如果使用人员对Linux不太熟练那面对庞大的日志简直要命。
ELK因此就应运而生,那么为什么要用ELK呢?ELK又能给我们解决哪些问题呢?
1.日志统一收集,管理,访问。查找问题方便安全:收集放到搜索引擎中。也就就是ELK中的E表示es:分布式搜索引擎存储库。是一个Nosql。其核心是倒排索引库。可存TB级的数据。
2.使用简单,可以大大提高定位问题的效率:一个页面搞定所有查询。K:kibana。
3.可以对收集起来的log进行分析。L:Logstash,就是用收集日志。会部署到应用服务器上面。还可以提供过滤功能。
4.能够提供错误报告,监控机制。
二 ELK架构设计
ELK是三个开源软件的缩写,分别表示:Elasticsearch , Logstash, Kibana , 它们都是开源软件
1. LogStash
它可以流放到各自的服务器上收集Log日志,通过内置的ElasticSearch插件解析后输出到ES中
2.ElasticSearch
这是一个基于Lucene的分布式全文搜索框架,可以对logs进行分布式存储,有点像hdfs。此为ELK的核心组件,日志的分析以及存储全部由es完成,因此在后面的课程中我们还会对此进行重点讲解。
3. Kibana:论坛。大屏展示
它可以多维度的展示es中的数据。可提供图表展示,造出一些非常炫酷的页面。这也解决了用mysql存储带来了难以可视化的问题。他提供了丰富的UI组件,简化了使用难度,数据在es中的展示是比较让人蛋疼的,后面再讲es的时候让大家看看。
目前ELK主要有两种框架:
1.普通框架:这一套框架不会影响生成应用。唯一形象的就是logstash会耗一点系统资源。
三. ELK环境搭建
1.https://www.elastic.co/cn/downloads
2.版本:elasticsearch 2.4.6, lucene版本. 5.x。 6. 7
3.elasticsearch 2.4.6 安装
2. tar -zxvf elasticsearch2.4.6.tar.gz
3.cd /usr/local/app/elk/elasticsearch-2.4.6/config
4.修改elasticsearch配置文件
cluster.name: my.elk #集群名称,如果有多个集群,那么每个集群名就得是唯一的
node.name: node-192.168.0.8 #节点名称
node.master: true #该节点是否是master,true表示是的,false表示否,默认是true
node.data: true #该节点是否存储数据,默认true表示是的
http.port: 9200 #http访问端口,默认是9200,通过这个端口,调用方可以索引查询请求
transport.tcp.port: 9300 #节点之间通信的端口,默认为9300
network.host: 0.0.0.0 #访问地址 配置外网访问
#discovery.zen.ping.unicast.hosts: ["127.0.0.1:9300", "127.0.0.1:8300"]
#node.max_local_storage_nodes: 2 #设置一台机子能运行的节点数目,一般采用默认的1即可,因为我们一般也只在一台机子上部署一个节点5.启动 ./bin/elasticsearch (前台启动) 启动后界面注意看到lucene版本
后台启动 nohup ./bin/elasticsearch >log/elasticsearch.log &
6.安装 head插件 ./bin/plugin install mobz/elasticsearch-head
7.安装后访问 http://172.30.30.166:9200/_plugin/head/
4.logstash安装(注意这个只能收集本机日志,不能收集其他机器)
1.wget -c https://download.elastic.co/logstash/logstash/logstash-2.4.0.tar.gz
2.tar -zxvf logstash-2.4.0.tar.gz
3.创建 logstash.confi配置文件
input { //收集标志
file {
type => "log"
path => ["/export/home/tomcat/domains/*/*/logs/*.log"] //收集日志的地方,注意不能远程收取
start_position => "end" //如果log文件已经很大了 不要配start,第二次会有记录
ignore_older => 0 //忽略最后修改时间是大于多少s的
codec=> multiline { //重点注意 解决日志换行问题。
pattern => "^%{TIMESTAMP_ISO8601}"
negate => true
what => "previous"
}
}
beats {
port => 5044
}
}
output {
if [type] == "log" {
elasticsearch {
hosts => ["http://127.0.0.1:9200"]
index => "log-%{+YYYY.MM}" //表示的是索引库 按日期分
user => user //如果配置了nginx密码的则需要填写
password => pwd
}
}
}4.启动 logstash.conf ./bin/logstash -f ./conf/logstash.conf
后台启动:nohup ./bin/logstash -f config/log.conf > log.log &
注意:配置文件的注释是需要删除的,不然启动会报错
5.配置kibana
1.wget https://download.elastic.co/kibana/kibana/kibana-4.6.1-linux-x86_64.tar.gz
2.tar -zxvf kibana/kibana/kibana-4.6.1-linux-x86_64.tar.gz
3.修改配置文件 kibana.yml 主要修改 elasticsearch的地址
3.启动 ./bin/kibana
后台启动:nohup ./bin/kibana > log/kibana.log &
注意:该地方需要跟 elasticsearch配置的index要对应上;
注意这个收集是从日志末尾来收集的,所以一定需要用日志追加才能看得到