目录
2、mysql关系型数据库与Elasticsearch对应的关系
1、常用插件:Input、Filter Plugin、Output
1、首先配置基本环境(node1、node2、apache)
2、安装elasticsearch集群(node1、node2)
前言
日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所
有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统,将所有节点上的日志统一
收集,管理,访问。
一、ELK概述
1、ELK日志分析系统
ELK是由Elasticsearch(非关数据库)、Logstash(日志收集工具)、Kiban(展示工具)三
个开源软件的组合。在实时数据检索和分析场合,三者通常是配合共用
2、ELK中日志处理步骤
第一步:将日志进行集中化管理(beats)。把所有日志信息logstash输出到loginput,loginput进
行收集
第二步:将日志格式化(Logstash),然后将格式化后的数据输出到Elasticsearch
第三步:对格式化后的数据进行索引和存储(Elasticsearch)。
第四步:前端数据的展示(Kibana)。可视化、图形化、支持日志筛选。
二、Elasticsearch介绍
1、Elasticsearch的基础核心概念
Elasticsearch是一个基于Lucene的搜索服务器。它基于RESTful web接口提供了一个分布式
多用户能力的全文搜索引擎。
Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是第二流行的企业搜
索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
①、接近实时(NRT )
elasticsearch是一个接近实时的搜索平台,这意味着,从索引一个文档直到这个文档能够被搜索到
有一个轻微的延迟(通常是1秒)。
②、集群(cluster)
一个集群就是由一个或多个节点组织在一起,它们共同持有你整个的数据,并一起提供索引和搜索
功能。其中一个节点为主节点,这个主节点是可以通过选举产生的,并提供跨节点的联合索引和搜
索的功能。集群有一个唯一性标示的名字,默认是elasticsearch,集群名字很重要,每个节点是基
于集群名字加入到其集群中的。因此,确保在不同环境中使用不同的集群名字。
一个集群可以只有一个节点。强烈建议在配置elasticsearch时, 配置成集群模式。
③、节点(node )
节点就是一台单一的服务器,是集群的一部分,存储数据并参与集群的索引和搜索功能。像集群一
样,节点也是通过名字来标识。默认是在节点启动时随机分配的字符名。当然,你可以自己定义,
该名字也很重要,在集群中用于识别服务器对应的节点。
节点可以通过指定集群名字来加入到集群中。默认情况,每个节点被设置成加入到elasticsearch集
群。如果启动了多个节点,假设能自动发现对方,他们将会自动组建一个名为elasticsearch的集
群。
④、索引( index)
一个索引就是一个拥有几分相似特征的文档的集合。比如说,你可以有一个客户数据的索引,另一
个产品目录的索引,还有一个订单数据的索引。一个索引由一个名字来标识(必须全部是小写字母
的),并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候,都要使用到
这个名字。在一个集群中,如果你想,可以定义任意多的索引。
⑤、类型(type)
在一个索引中,你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区,其
语义完全由你来定。通常,会为具有一组共同字段的文档定义一个类型。比如说,我们假设你运营
一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中,你可以为用户数据定义一个
类型,为博客数据定义另一个类型,当然,也可以为评论数据定义另一个类型。
●类型相对于关系型数据库的表。
⑥、文档( document )
一个文档是一个可被索引的基础信息单元。比如,你可以拥有某一个客户的文档,某一个产品的一
个文档,当然,也可以拥有某各订单的一个文档。文档以JSON ( Javascript object Notation)格式
来表示,而JSON是一个到处存在的互联网数据交互格式。注:虽然一个文档在物理上位于一个索
引中,实际上一个文档必须在一个索引内被索引和分配一个类型。
●文档相对于关系型数据库的列。
⑦、分片shards和副本replicas
即es作为搜索引擎快的原因:
分片:在实际情况下,索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间
可能不适合存储在单个节点的磁盘上,或者从单个节点搜索请求太慢了。为了解决这个问题,
elasticsearch提供将索引分成多个分片的功能。当在创建索引时,可以定义想要分片的数量。每一
个分片就是一个全功能的独立的索引,可以位于集群中任何节点上。
分片的两个最主要原因:
◆:水平分割扩展,增大存储量
◆:分布式并行跨分片操作,提高性能和吞吐量
副本:为了防止网络问题等其它问题造成数据丢失,需要有一个故障切换机制,为此,
elasticsearch让我们将索引分片复制一份或多份,称之为分片副本或副本。
副本也有两个最主要原因:
◆:高可用性,以应对分片或者节点故障,需要在不同的节点上
◆:提高性能, 增大吞吐量,搜索可以并行在所有副本上执行
总之,每个索引可以被分成多个分片。一个索引也可以被复制0次( 意思是没有复制)或多次。一旦
复制了,每个索引就有了主分片(作为复制源的原来的分片)和复制分片(主分片的拷贝)之别。分片
和副本的数量可以在索引创建的时候指定。在索引创建之后,你可以在任何时候动态地改变副本的
数量,但是你事后不能改变分片的数量。
2、mysql关系型数据库与Elasticsearch对应的关系
索引相对于关系型数据库的库。
类型相对于关系型数据库的表。
文档相对于关系型数据库的列。
三、LogStash概述
Logstash由JRuby语言编写,基于消息(message-based) 的简单架构,并运行在Java虚拟机(JVM)
上。LogStash可配置单一的代理端(agent) 与其它开源软件结合,以实现不同的功能。Logstash的
理念很简单,它只做3件事情:Collect:数据输入、Enrich:数据加工(如过滤,改等)、Transport:数
据输出( 被其他模块进行调用)。
具体的,它作为一款强大的数据处理工具,可实现数据传输、格式处理、格式化输出,数据输入、
数据加工(如过滤,改写等)以及数据输出。
1、常用插件:Input、Filter Plugin、Output
Input:收集源数据(访问日志、错误日志等)
Filter Plugin:用于过滤日志和格式处理
Output:输出日志
2、logStash的主要组件
①:Shipper(日志收集者):负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。
通常,远程代理端(agent)只需要运行这个组件即可;
②:Indexer(日志存储者):负责接收日志并写入到本地文件。
③:Broker(日志Hub):负责连接多个Shipper和多个Indexer
④:Search and Storage(搜索和存储器):允许对事件进行搜索和存储;
⑥:Web Interface(web界面端):基于Web的展示界面
3、LogStash主机分类
①:代理主机(agent host) :作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行
Logstash代理( agent)。
②:程序中心主机(central host) :可运行包括中间转发器(Broker) 、索引器(Indexer) 、搜索和存
储器( Search andStorage )、web界面端(web Interface)在内的各个组件,以实现对日志数据的接
收、处理和存储。
四、Kibana概述
Kibana一个针对Elasticsearch的开源分析及可视化平台;用来搜索、查看存储在Elasticsearch索引
中的数据。使用Kibana,可以通过各种图表进行高级数据分析及展示。
Kibana操作简单,基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch
查询动态。设置Kibana非常简单。无需编写代码,几分钟内就可以完成Kibana安装并启动
Elasticsearch索引监测。
1、Kibana主要功能
①Elasticsearch无缝之集成
Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。
②整合数据
Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
③复杂数据分析
Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数
据切割分块。
④让更多团队成员收益
强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
⑤接口灵活,分享更容易
使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。
⑥配置简单
Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运
行。
⑦可视化多数据源
Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到
Elasticsearch,支持的第三方技术包括Apache flume、 Fluentd 等。
⑧简单数据导出
Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,发现新结果。
五、部署elk日志分析系统
主机名 | 操作系统 | IP地址 | 主要软件 |
服务器node1 | Centos7.4 | 192. 168.110.128 | Elasticsearch+kibana |
服务器node2 | Centos7.4 | 192.168.110.129 | Elasticsearch |
服务器apache | Centos7.4 | 192.168.110.130 | logstash+apache |
1、首先配置基本环境(node1、node2、apache)
systemctl stop firewalld.service #关闭安全系统
systemctl disable firewalld.service
setenforce 0
vim /etc/resolv.conf #添加域名
nameserver 114.114.114.114
ntpdate ntp1.aliyun.com #时间同步
hostnamectl set-hostname node #更改主机名
2、安装elasticsearch集群(node1、node2)
①、配置elasticsearch环境
#添加域名映射
[root@node1 ~]# vim /etc/hosts
192.168.110.128 node1
192.168.110.129 node2
#安装es所需的java环境,jdk版本需要跟es相匹配
[root@node1 ~]# java -version #查看Java版本
openjdk version "1.8.0_181"
……
#上传jdk压缩包jdk-8u91-linux-x64.tar.gz至opt目录下,并解压
[root@node1 opt]# tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@node1 ~]# cd /usr/local/
[root@node1 local]# mv jdk1.8.0_91 jdk #重命名未jdk
#添加系统管理
[root@node1 ~]# vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
[root@node1 ~]# source /etc/profile
[root@node1 ~]# java -version
java version "1.8.0_91"
……
②、安装elasticsearch软件
#上传elasticsearch-5.5.0.rpm到/opt目录下,并解压安装
[root@node1 opt]# rpm -ivh elasticsearch-5.5.0.rpm
[root@node1 ~]# systemctl daemon-reload #加载系统服务
[root@node1 ~]# systemctl enable elasticsearch.service #自启动开启服务
③、修改elasticsearch配置文件
[root@node1 ~]# cp /etc/elasticsearch/ elasticsearch.yml /etc/elasticsearch/ elasticsearch.yml.bak #备份配置文件
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
……
#17行;取消注释,修改;集群名字
cluster.name: my-elk-cluster
#23行;取消注释,修改;节点名字(node2修改成node2)
node.name: node1
#33行;取消注释,修改;数据存放路径
path.data: /data/elk_data
#37行;取消注释,修改;日志存放路径
path.logs: /var/log/elasticsearch
#43行;取消注释,修改;不在启动的时候锁定内存
bootstrap.memory_lock: false
#55行;取消注释,修改;提供服务绑定的IP地址,0.0.0.0代表所有地址
network.host: 0.0.0.0
#59行;取消注释;侦听端口为9200(默认)
http.port: 9200
#68行;取消注释,修改;集群发现通过单播实现,指定要发现的节点 node1、node2
discovery.zen.ping.unicast.hosts: ["node1", "node2"]
……
[root@node1 ~]# grep -v "^#" /etc/elasticsearch/elasticsearch.yml
#显示文件非#开头的行
④、创建数据存放路径并授权,并启动服务
[root@node1 ~]# mkdir -p /data/elk_data #创建数据存放的目录
[root@node1 ~]# chown elasticsearch:elasticsearch /data/elk_data/ #修改存放数据目录的属主和属组
[root@node1 ~]# systemctl start elasticsearch.service #开启服务
[root@node1 ~]# netstat -antp | grep 9200 #查看服务是否正常开启
⑤、查看节点信息
在宿主机浏览器放问es服务器端口
http://192.168.110.128:9200
浏览页面显示着节点名称、集群名称、版本信息等。
⑥、检验集群健康状态
宿主机浏览器访问healyh页面查看集群的健康状态
http://192.168.110.128:9200/_cluster/health?pretty
http://192.168.110.129:9200/_cluster/health?pretty
⑦、查看集群状态
宿主机浏览器访问state页面,里面包含集群名称、版本等信息。
http://192.168.110.128:92 /_cluster/state?pretty00
http://192.168.110.129:9200 /_cluster/state?pretty
3、es集群安装组件及插件(node1、node2)
①、安装elasticsearch-head插件,用于管理集群
#安装elasticsearch-head插件编译环境
[root@node1 ~]# yum -y install gcc gcc-c++ make
#上传软件包 node-v8.2.1.tar.gz 到/opt目录,并解压安装
[root@node1 ~]# cd /opt/
[root@node1 opt]# tar xzvf node-v8.2.1.tar.gz
[root@node1 ~]# cd /opt/node-v8.2.1/ #到解压后的目录下
[root@node1 node-v8.2.1]# ./configure && make && make install #配置、编译、安装
#注:这里耗时比较长估计20-30分钟
②、安装phantomjs(前端框架)
#上传软件包 phantomjs-2.1.1-linux-x86_64.tar.bz2 到/opt目录下,解压并安装
[root@node2 ~]# cd /opt/
[root@node2 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[root@node2 opt]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin/
[root@node2 bin]# cp phantomjs /usr/local/bin/ #命令文件拷贝到系统/usr/local/bin目录下,方便系统识别
③、安装elasticsearch-head(数据可视化工具)
#上传软件包 elasticsearch-head.tar.gz 到/opt目录下,解压并安装
[root@node1 opt]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[root@node1 opt]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm install #使用npm工具安装
#修改主配置文件
[root@node1 ~]# vim /etc/elasticsearch/elasticsearch.yml
…… #末尾;添加以下内容
http.cors.enabled: true #开启跨域访问支持,默认为 false
http.cors.allow-origin: "*" #指定跨域访问允许的域名地址为所有
[root@node1 ~]# systemctl restart elasticsearch.service #重启es数据库
#启动elasticsearch-head,必须在解压后的 elasticsearch-head 目录下启动服务,
#进程会读取该目录下的 gruntfile.js 文件,否则可能启动失败。
[root@node1 ~]# cd /usr/local/src/elasticsearch-head/
[root@node1 elasticsearch-head]# npm run start &
[1] 119698
[root@node1 elasticsearch-head]#
> elasticsearch-head@0.0.0 start /usr/local/src/elasticsearch-head
> grunt server
Running "connect:server" (connect) task
Waiting forever...
Started connect web server on http://localhost:9100
[root@node1 elasticsearch-head]# netstat -natp | grep 9100
#查看是否启动,elasticsearch-head 监听的端口是 9100
④、使用elasticsearch-head插件查看集群状态
宿主机浏览器登陆:
http://192.168.110.128:9100/
http://192.168.110.129:9100/
在Elasticsearch 后面的栏目中输入
http://192.168.110.128:9200/
http://192.168.110.129:9200/
⑤、命令行创建索引
#这里我们在node1节点创建名为index-demo的索引,类型为test。
[root@node1 ~]# curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
#向本机的页面localhost:9200/index-demo/test/1?pretty&pretty提交数据。-H:指添加http请求标头;-d:表示添加的数据
#接着在宿主机浏览器访问http://192.168.110.128:9100/,并连接http://192.168.110.128:9200/日
志管理器,刷新网页
#点击数据浏览一会发现在node1上创建的索引为index-demo,类型为test, 等相关的信息。
4、安装logstash日志收集工具(apache)
①、#apache服务端安装Apahce服务(httpd),并启动
[root@apache ~]# yum install httpd -y
[root@apache ~]# systemctl start httpd.service
②、#安装Java环境,将jdk包上传到/opt目录下,解压并添加到系统管理
[root@apache ~]# cd /opt/
[root@apache opt]# tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
[root@apache ~]# cd /usr/local/
[root@apache local]# mv jdk1.8.0_91/ jdk
[root@apache local]# vim /etc/profile #在末尾添加系统管理,
……
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
:wq
[root@apache local]# source /etc/profile
[root@apache local]# java -version
java version "1.8.0_91"
……
③、#安装logstash,上传logstash-5.5.1.rpm到/opt目录下,并安装,并启动
[root@apache opt]# cd /opt
[root@apache opt]# rpm -ivh logstash-5.5.1.rpm
[root@apache opt]# systemctl start logstash.service
[root@apache opt]# systemctl enable logstash.service
④、#建立logstash软连接
[root@apache opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
5、logstash命令介绍(apache)
测试logstash (Apache)与elasticsearch (node) 功能是否正常
logstash命令字段描述解释:
-f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash
-e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是” ”,则默认使用stdin做为输入、
stdout作为输出)
-t 测试配置文件是否正确,然后退出
①定义输入和输出流:输入采用标准输入,输出采用标准输出(类似管道),标准是指对输入的信
息不做任何修改就输出。注:输入命令稍作等待。
命令:logstash -e 'input { stdin{} } output { stdout{} }'
②使用rubydebug显示详细输出,codec为一种编解码器
命令:logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug} }'
③使用 Logstash 将信息写入 Elasticsearch数据库中
命令:ogstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.110.128:9200"] } }'
#输入完成后在宿主机浏览器访问http://192.168.110.128:9100/
#也可以在数据浏览页面下查看响应的详细内容
6、配置对接测试(apache)
①、在Apache主机上做对接配置,Logstash配置文件主要由三部分组成:input、output、filter
(根据需要)。
[root@apache ~]# ll /var/log/messages #查看系统日志目录下日志文件权限
-rw-------. 1 root root 573707 11月 18 22:02 /var/log/messages
[root@apache ~]# chmod o+r /var/log/messages #给其他用户添加读权限
[root@apache ~]# ll /var/log/messages #查看是否添加上
-rw----r--. 1 root root 574303 11月 18 22:02 /var/log/messages
[root@apache ~]# vim /etc/logstash/conf.d/system.conf #创建并编辑logstash配置文件
input {
file{
path => "/var/log/messages"
type => "system"
start_position => "beginning"
}
}
output {
elasticsearch {
hosts => ["192.168.110.128:9200"]
index => "system-%{+YYYY.MM.dd}"
}
}
:wq
[root@apache ~]# systemctl restart logstash.service #重启服务
配置文件介绍如下:
②、在宿主机浏览器图形化界面上面查看索引信息
#数据浏览选项中查看具体的系统日志
7、安装kibana可视化平台(node1)
①、前面部署都测试正常后,只在node1:192.168.110.128节点上部署kibana
[root@node1 ~]# cd /opt/ #上传kibana-5.5.1-x86_64.rpm 到/opt目录并解压安装
[root@node1 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm
[root@node1 opt]# cd /etc/kibana/ #备份kibana配置文件
[root@node1 kibana]# cp kibana.yml kibana.yml.bak
[root@node1 kibana]# vim kibana.yml #编辑修改配置文件
……
#2行;取消注释;kibana打开的端口(默认5601)
server.port: 5601
#7行;取消注释,修改;kibana侦听的地址
server.host: "0.0.0.0"
#21行;取消注释,修改;和elasticsearch建立联系
elasticsearch.url: "http://192.168.110.128:9200"
#30行;取消注释;在elasticsearch中添加.kibana索引
kibana.index: ".kibana"
……
:wq
[root@node1 kibana]# systemctl start kibana.service #启动服务
[root@node1 kibana]# systemctl enable kibana.service #设置开机自启
②、在宿主机浏览器访问192.168.110.128:5601,5601是kibana端口
#此时会在左上看到创建的系统日志索引
③、对接Apache主机的Apache 日志文件(访问日志、错误日志)
在apach服务器主机修改配置文件/etc/logstash/conf.d/apache_log.conf
[root@apache ~]# vim /etc/logstash/conf.d/apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.110.128:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.110.128:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
:wq
[root@apache ~]# /usr/share/logstash/bin/logstash -f /etc/logstash/conf.d/apache_log.conf
#使用logstash命令指定使用apache_log.conf配置文件输入输入
#注意:正常指定后最后会出现{:port=>9601}说明指定成功
#此时,我们首先在宿主机浏览器访问http://192.168.110.130/ apache页面,并多刷新几次,接着
返回Elasticsearch-head查看
#接下来返回kibana可视化界面,打开浏览器 输入http://192.168.163.11:5601
点击左下角有个management选项—index patterns—create index pattern
分别创建apache_error-* 和 apache_access-* 的索引
总结
1、ELK日志处理步骤:
①Logstash收集AppServer产生的Log,并将log进行集中化管理
②将日志格式化(Logstash) 并存放到ElasticSearch集群中
③对格式化后的数据进行索引|和存储( Elasticsearch)
④Kibana则从Es集群中查询数据生成图表,再返回给browsers
2、elk(日志简化分析的管理工具)是由ElasticSearch、 Logstash和Kiabana三个开源工具组成的;分别的功能如下:
①ES(nosql非关数据库):存储功能和索引
②Logstash(收集日志):到应用服务器上拿取log,并进行格式转换后输出到es中(通过input功能来收集/采集log;filter过滤器:格式化数据;output输出:日志输出到es数据库内)。
③Kibana(展示工具):将es内的数据在浏览器展示出来,通过UI界面展示(可以根据自己的需求对日志进行处理,方便查阅读取)