Elasticsearch
ElasticStack 是一系列开源产品的合集,包括 Elasticsearch、Kibana、Logstash 以及 Beats 等,能够安全可靠地获取任何来源、任何格式的数据,并且能够实时地对数据进行搜索、分析和可视化。
Logstash主要是⽤来⽇志的搜集、分析、过滤⽇志的⼯具。
Kibana是⼀个优秀的前端⽇志展示框架。
Kafka数据缓冲队列。
Filebeat⾪属于Beats,轻量级数据收集引擎。
1、Elastic Stack简介
ELK实际上ELK是三款软件的简称,分别是Elasticsearch、
Logstash、Kibana组成,在发展的过程中,又有新成员Beats的加入,所以就形成了Elastic Stack。所以说,ELK是旧的称呼,ELKB也不好(防止以后越来越多新技术),Elastic Stack是新的名字。
全系的Elastic Stack技术栈包括:
Elasticsearch
Elasticsearch 基于java,是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引
副本机制,restful风格接口,多数据源,自动搜索负载等。
Logstash
Logstash 基于java,是一个开源的用于收集,分析和存储日志的工具。
Kibana
Kibana 基于nodejs,也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的
Web 界面,可以汇总、分析和搜索重要数据日志。
Beats
Beats是elastic公司开源的一款采集系统监控数据的代理agent,是在被监控服务器上以客户端形式运行的数据收集器的统称,可以直接把数据发送给Elasticsearch或者通过Logstash发送给Elasticsearch,然后进行后续的数据分析活
动。
Beats由如下组成:
- Packetbeat:是一个网络数据包分析器,用于监控、收集网络流量信息,Packetbeat嗅探服务器之间的流量,解析应用层协议,并关联到消息的处理,其支 持ICMP (v4 and v6)、DNS、HTTP、Mysql、PostgreSQL、Redis、MongoDB、Memcache等协议;
- Filebeat:用于监控、收集服务器日志文件,其已取代 logstash forwarder;
- Metricbeat:可定期获取外部系统的监控指标信息,其可以监控、收集 Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、Redis、System、Zookeeper等服务;
- Winlogbeat:用于监控、收集Windows系统的日志信息;
2、Elasticsearch
2.1、简介
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
我们建立一个网站或应用程序,并要添加搜索功能,但是想要完成搜索工作的创建是非常困难的。我们希望搜索解决方案要运行速度快,我们希望能有一个零配置和一个完全免费的搜索模式,我们希望能够简单地使用JSON通过HTTP来索引数据,我们希望我们的搜索服务器始终可用,我们希望能够从一台开始并扩展到数百台,我们要实时搜索,我们要简单的多租户,我们希望建立一个云的解决方案。因此我们利用Elasticsearch来解决所有这些问题及可能出现的更多其它问题。
官网:https://www.elastic.co/cn/products/elasticsearch
2.2、安装
2.2.1、版本说明
Elasticsearch的发展是非常快速的,所以在ES5.0之前,ELK的各个版本都不统一,出现了版本号混乱的状态,所以从5.0开始,所有Elastic Stack中的项目全部统一版本号。我们将基于6.5.4这一版本进行学习。
2.2.2、下载
地址:https://www.elastic.co/cn/downloads/elasticsearch
2.2.3、单机版安装
#创建elsearch用户,Elasticsearch不支持root用户运行
useradd elsearch
mkdir -p /itcast/es
chown elsearch:elsearch /itcast/ -R
#解压安装包
su - elsearch
tar -xvf elasticsearch-6.5.4.tar.gz -C /itcast/es/
#修改配置文件
cd /itcast/es/elasticsearch-6.5.4
vim config/elasticsearch.yml
network.host: 0.0.0.0
#设置ip地址,任意网络均可访问
#说明:在Elasticsearch中如果,network.host不是localhost或者127.0.0.1的话,
#就会认为是生产环境, 会对环境的要求比较高,我们的测试环境不一定能够满足,一般情况下需要修改2处配置
如下:
1:修改jvm启动参数
vim config/jvm.options
-Xms128m #根据自己机器情况修改
-Xmx128m
2:一个进程在VMAs(虚拟内存区域)创建内存映射最大数量
vim /etc/sysctl.conf
vm.max_map_count=655360
sysctl -p #配置生效
#启动ES服务
su - elsearch
cd bin
./elasticsearch 或 ./elasticsearch -d #后台启动
[2020-10-18T09:33:12,433][INFO ][o.e.c.m.MetaDataIndexTemplateService] [ewK7vx-] adding template [.monitoring-alerts] for index patterns [.monitoring-alerts-6]
[2020-10-18T09:33:12,459][INFO ][o.e.c.m.MetaDataIndexTemplateService] [ewK7vx-] adding template [.monitoring-kibana] for index patterns [.monitoring-kibana-6-*]
[2020-10-18T09:33:12,576][INFO ][o.e.l.LicenseService ] [ewK7vx-] license [a3dce76d-a983-450a-93ee-29e98cae67cd] mode [basic] - valid
浏览器访问得到如下信息,代表成功了
IP地址:9200
{
"name" : "ewK7vx-",
"cluster_name" : "elasticsearch",
"cluster_uuid" : "jZepGMPTQXGCeqQiBeKwVQ",
"version" : {
"number" : "6.5.4",
"build_flavor" : "default",
"build_type" : "tar",
"build_hash" : "d2ef93d",
"build_date" : "2018-12-17T21:17:40.758843Z",
"build_snapshot" : false,
"lucene_version" : "7.5.0",
"minimum_wire_compatibility_version" : "5.6.0",
"minimum_index_compatibility_version" : "5.0.0"
},
"tagline" : "You Know, for Search"
}
操作过程遇到could not find java; set JAVA_HOME or ensure java is in PATH
linux安装java环境
一、配置JDK
wget https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gz //解压
tar -zxvf jdk-8u201-linux-x64.tar.gz //移动文件夹
mv jdk1.8.0_201 /usr/local/jdk1.8/
1.配置环境变量
vim /etc/profile
按下insert键,然后移动到最后一行,添加如下语句
export JAVA_HOME=/usr/local/jdk1.8/
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
2.追加完成后更新配置
source /etc/profile
3.查看是否安装成功
java -version
4.创建软链接,环境变量
ln -s /usr/local/jdk1.8/bin/java /usr/bin/java
操作过程遇到ERROR: [1] bootstrap checks failed
[1]: max file descriptors [65535] for elasticsearch process is too low, increase to at least [65536]
记住操作系统配置后,要重新登录或者重启
方案一:
vim /etc/security/limits.conf 在文件末尾修改
* soft nofile 65536
* hard nofile 65536
其中*表示所有用户 nofile表示最大文件句柄数,表示能够打开的最大文件数目
方案二:
ulimit -Hn
ulimit -Hn 65536
ulimit -Hn
停止Elasticsearch
jps 查看Elasticsearch进程
kill xxx
2.2.4、elasticsearch-head
由于ES官方并没有为ES提供界面管理工具,仅仅是提供了后台的服务。elasticsearch-head是一个为ES开发的一个页
面客户端工具,其源码托管于GitHub,地址为:https://github.com/mobz/elasticsearch-head
head提供了4种安装方式:
源码安装,通过npm run start启动(不推荐)
通过docker安装(推荐)
通过chrome插件安装(推荐)
通过ES的plugin方式安装(不推荐)
通过docker安装
#拉取镜像
docker pull mobz/elasticsearch-head:5
#创建容器
docker create --name elasticsearch-head -p 9100:9100 mobz/elasticsearch-head:5
#启动容器
docker start elasticsearch-head
通过chrome插件的方式安装
打开chrome的应用商店,即可安装https://chrome.google.com/webstore/detail/elasticsearch-head/ffmkiejjmec
olpfloofpjologoblkegm
通过浏览器访问 IP:9100
注意:
由于前后端分离开发,所以会存在跨域问题,需要在服务端做CORS的配置,如下:(忽略)
vim elasticsearch.yml
http.cors.enabled: true http.cors.allow-origin: "*"
2.3、基本概念
索引
- 索引(index)是Elasticsearch对逻辑数据的逻辑存储,所以它可以分为更小的部分。
- 可以把索引看成关系型数据库的表,索引的结构是为快速有效的全文索引准备的,特别是它不存储原始值。
- Elasticsearch可以把索引存放在一台机器或者分散在多台服务器上,每个索引有一或多个分片(shard),每个分片可以有多个副本(replica)。
文档
- 存储在Elasticsearch中的主要实体叫文档(document)。用关系型数据库来类比的话,一个文档相当于数据库表中的一行记录。
- Elasticsearch和MongoDB中的文档类似,都可以有不同的结构,但Elasticsearch的文档中,相同字段必须有相同类型。
- 文档由多个字段组成,每个字段可能多次出现在一个文档里,这样的字段叫多值字段(multivalued)。
- 每个字段的类型,可以是文本、数值、日期等。字段类型也可以是复杂类型,一个字段包含其他子文档或者数组。
映射
- 所有文档写进索引之前都会先进行分析,如何将输入的文本分割为词条、哪些词条又会被过滤,这种行为叫做映射(mapping)。一般由用户自己定义规则。
文档类型
- 在Elasticsearch中,一个索引对象可以存储很多不同用途的对象。例如,一个博客应用程序可以保存文章和评论。
- 每个文档可以有不同的结构。
- 不同的文档类型不能为相同的属性设置不同的类型(即要相同)。例如,在同一索引中的所有文档类型中,一个叫title的字段必须具有相同的类型。
2.4、RESTful API
在Elasticsearch中,提供了功能丰富的RESTful API的操作,包括基本的CRUD、创建索引、删除索引等操作。
2.4.1、创建非结构化索引
在Lucene中,创建索引是需要定义字段名称以及字段的类型的,在Elasticsearch中提供了非结构化的索引,就是不需要创建索引结构,即可写入数据到索引中,实际上在Elasticsearch底层会进行结构化操作,此操作对用户是透明的。
说明:非结构化的索引,不需要事先创建,直接插入数据默认创建索引
创建空索引:
PUT请求
PUT /haoke
{
"settings": {
"index": {
"number_of_shards": "5",
"number_of_replicas": "1"
}
}
}
#删除索引
DELETE /haoke
{
"acknowledged":true
}
打开Restful测试工具,输入url,输入put请求参数
浏览器:9200/索引库名称
http://120.76.63.10:9200/haoke
操作过程中遇到的错误(原来我是json格式弄错了,PUT /haoke都放进去了,第一次接触。诶,搞了一小时)
not_x_content_exception
Compressor detection can only be called on some xcontent bytes or compressed
{"error":{"root_cause":[{"type":"mapper_parsing_exception","reason":"failed to parse"}],"type":"mapper_parsing_exception","reason":"failed to parse","caused_by":{"type":"not_x_content_exception","reason":"Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes"}},"status":400}
org.elasticsearch.common.compress.NotXContentException: Compressor detection can only be called on some xcontent bytes or compressed xcontent bytes
在线JSON校验格式工具
https://www.bejson.com/
2.4.2、插入数据
URL规则:
POST /{索引}/{类型}/{id}
id是文档标识符
POST /haoke/user/1001
#数据
{
"id":1001,
"name":"张三",
"age":20,
"sex":"男"
}
#回应
{
"_index": "haoke",
"_type": "user",
"_id": "1001",
"_version": 1,
"result": "created",
"_shards": {
"total": 2,
"successful": 1,
"failed": 0
},
"_seq_no": 0,
"_primary_term": 1
}
不指定id插入数据(自动生成id):
POST /haoke/user
#数据
{
"id": 1002,
"name": "李四",
"age": 21,
"sex": "女"
}
2.4.3、更新数据
在Elasticsearch中,文档数据是不为修改的,但是可以通过覆盖的方式进行更新。
PUT /haoke/user/1001
{
"id":1001,
"name":"张三",
"age":21,
"sex":"女"
}
局部更新
前面不是说,文档数据不能更新吗? 其实是这样的:
在内部,依然会查询到这个文档数据,然后进行覆盖操作,步骤如下:
- 从旧文档中检索JSON
- 修改它
- 删除旧文档
- 索引新文档
doc
POST /haoke/user/1001/_update
{
"doc": {
"age": 23
}
}
2.4.4、删除数据
在Elasticsearch中,删除文档数据,只需要发起DELETE请求即可
DELETE /haoke/user/1001
返回的信息中需要注意的是,result表示已经删除,version也更加了。
如果删除一条不存在的数据,会响应404:
说明:
删除一个文档也不会立即从磁盘上移除,它只是被标记成已删除。Elasticsearch将会在你之后添加更多索引的
时候才会在后台进行删除内容的清理。
2.4.5、搜索数据
根据id搜索数据
GET /haoke/user/plk7OnUBJFa3OVT9hqdH
http://10.0.100.132:9200/haoke/user/plk7OnUBJFa3OVT9hqdH
#返回的数据如下
{
"_index": "haoke",
"_type": "user",
"_id": "plk7OnUBJFa3OVT9hqdH",
"_version": 1,
"found": true,
"_source": {
"id": 1002,
"name": "李四",
"age": 21,
"sex": "女"
}
}
搜索全部数据
GET /haoke/user/_search
关键字搜素数据
#查询年龄等于21的用户 ?q=参数
GET /haoke/user/_search?q=age:21
结果
2.4.6、DSL搜索
Elasticsearch提供丰富且灵活的查询语言叫做DSL查询(Query DSL),它允许你构建更加复杂、强大的查询。
DSL(Domain Specific Language特定领域语言)以JSON请求体的形式出现。
POST /haoke/user/_search
#请求体
{
"query": {
"match": { # match只是查询的一种
"age": 21
}
}
}
实现:查询年龄大于30岁的男性用户。
插入数据
POST /haoke/user
#数据
{
"id":1001,
"name":"张三",
"age":20,
"sex":"男"
}
查询数据
POST /haoke/user/_search
#请求数据
{
"query": {
"bool": {
"filter": { # 过滤
"range": {
"age": {
"gt": 30
}
}
},
"must": { # 必须
"match": {
"sex": "男"
}
}
}
}
}
全局搜索
POST /haoke/user/_search
#请求数据
{
"query": {
"match": {
"name": "张三 李四"
}
}
}
2.4.7、高亮显示
POST /haoke/user/_search
{
"query": {
"match": {
"name": "张三 李四"
}
},
"highlight": {
"fields": {
"name": {}
}
}
}
2.4.8、聚合
在Elasticsearch中,支持聚合操作,类似SQL中的group by操作。
POST /haoke/user/_search
{
"aggs": {
"all_interests": {
"terms": {
"field": "age"
}
}
}
}
从结果可以看出,年龄30的有2条数据,20的有一条,40的一条。
3、核心详解
3.1、文档
在Elasticsearch中,文档以JSON格式进行存储,可以是复杂的结构,如:
{
"_index": "haoke",
"_type": "user",
"_id": "1005",
"_version": 1,
"_score": 1,
"_source": {
"id": 1005,
"name": "孙七",
"age": 37,
"sex": "女",
"card": {
"card_number": "123456789"
}
}
}
其中,card是一个复杂对象,嵌套的Card对象。
元数据(metadata)
一个文档不只有数据。它还包含了元数据(metadata)——关于文档的信息。三个必须的元数据节点是:
4、中文词
5、全文搜索
6、Elasticsearch集群
7、java客户端
文档地址(自个儿看)
链接:https://pan.baidu.com/s/12yqB5O_7hgzUzq8TaGLp6w
提取码:vno5
复制这段内容后打开百度网盘手机App,操作更方便哦
4、集群搭建
P28-P34
ELasticsearch的集群是由多个节点组成的,通过cluster.name设置集群名称,并且用于区分其它的集群,每个节点通过node.name指定节点的名称。
4.1、集群节点
在Elasticsearch中,节点的类型主要有4种:
- master节点
配置文件中node.master属性为true(默认为true),就有资格被选为master节点。
master节点用于控制整个集群的操作。比如创建或删除索引,管理其它非master节点等。 - data节点
配置文件中node.data属性为true(默认为true),就有资格被设置成data节点。
data节点主要用于执行数据相关的操作。比如文档的CRUD。 - 客户端节点
配置文件中node.master属性和node.data属性均为false。
该节点不能作为master节点,也不能作为data节点。
可以作为客户端节点,用于响应用户的请求,把请求转发到其他节点(相当于代理) - 部落节点
当一个节点配置tribe.*的时候,它是一个特殊的客户端,它可以连接多个集群,在所有连接的集群上执行搜索和其他操作。
4.2、搭建集群
#启动3个虚拟机,分别在3台虚拟机上部署安装Elasticsearch
过程看上面 itcast所属组是 elsearch
# 搭建集群
[elsearch@localhost es]$ mkdir /itcast/es-cluster
[elsearch@localhost es]$ cp /itcast/es/elasticsearch-6.5.4/ /itcast/es-cluster/ -R
[elsearch@localhost es]$ cd /itcast/es-cluster/elasticsearch-6.5.4/data
[elsearch@localhost data]$ rm -rf * 删除数据
[elsearch@localhost es]$ cd /itcast/es-cluster/elasticsearch-6.5.4/logs
[elsearch@localhost logs]$ rm -rf * 删除日志
#分发到其它机器
[elsearch@localhost es]$ cd /itcast/
[elsearch@localhost es]$ scp -r es-cluster elsearch@192.168.40.134:/itcast
# 集群配置
cd /itcast/es-cluster/elasticsearch-6.5.4/
vim elasticsearch.yml
#node01的配置:
cluster.name: es-itcast-cluster
node.name: node01
node.master: true
node.data: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"] #发现集群的广播地址 discovery.zen.minimum_master_nodes: 2 # 表示至少有两个同意A主节点才能成为主节点
http.cors.enabled: true # 跨域
http.cors.allow-origin: "*"
#node02的配置:
cluster.name: es-itcast-cluster
node.name: node02
node.master: true
node.data: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"]
discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
#node03的配置:
cluster.name: es-itcast-cluster
node.name: node03
node.master: true
node.data: true
network.host: 0.0.0.0
http.port: 9200
discovery.zen.ping.unicast.hosts: ["192.168.40.133","192.168.40.134","192.168.40.135"] discovery.zen.minimum_master_nodes: 2
http.cors.enabled: true
http.cors.allow-origin: "*"
#分别启动3个节点
./elasticsearch
创建索引,粗线是主分片,细线是副本分片
查询集群状态:GET请求: http://IP地址:9200/_cluster/health
4.3、分片和副本
为了将数据添加到Elasticsearch,我们需要 索引(index) ——一个存储关联数据的地方。实际上,索引只是一个用来
指向一个或多个分片(shards)的“逻辑命名空间(logical namespace)”.
- 一个分片(shard)是一个最小级别“工作单元(worker unit)”,它只是保存了索引中所有数据的一部分。
- 我们需要知道是分片就是一个Lucene实例,并且它本身就是一个完整的搜索引擎。应用程序不会和它直接通
信。 - 分片可以是主分片(primary shard)或者是复制分片(replica shard)。
- 索引中的每个文档属于一个单独的主分片,所以主分片的数量决定了索引最多能存储多少数据。
- 复制分片只是主分片的一个副本,它可以防止硬件故障导致的数据丢失,同时可以提供读请求,比如搜索或者
从别的shard取回文档。 - 当索引创建完成的时候,主分片的数量就固定了,但是复制分片的数量可以随时调整。
4.4、故障转移
4.4.1、将data节点停止
将node02恢复:./node02/bin/elasticsearch
可以看到,node02恢复后,重新加入了集群,并且重新分配了节点信息。
4.4.2、将master节点停止
恢复node01节点:重启之后,发现node01可以正常加入到集群中,集群状态依然为绿色
4.4.3 特别说明
4.5、分布式文档
4.5.1、路由
4.5.2、文档的写操作
新建、索引和删除请求都是写(write)操作,它们必须在主分片上成功完成才能复制到相关的复制分片上。
下面我们罗列在主分片和复制分片上成功新建、索引或删除一个文档必要的顺序步骤:
- 客户端给 Node 1 发送新建、索引或删除请求。
- 节点使用文档的 _id 确定文档属于分片 0 。它转发请求到 Node 3 ,分片 0 位于这个节点上。
- Node 3 在主分片上执行请求,如果成功,它转发请求到相应的位于 Node 1 和 Node 2 的复制节点上。当所有的复制节点报告成功, Node 3 报告成功到请求的节点,请求的节点再报告给客户端。客户端接收到成功响应的时候,文档的修改已经被应用于主分片和所有的复制分片。你的修改生效了。
4.5.3、搜索文档(单个文档)
文档能够从主分片或任意一个复制分片被检索。
4.5.4、全文搜索
对于全文搜索而言,文档可能分散在各个节点上,那么在分布式的情况下,如何搜索文档呢?
搜索,分为2个阶段,搜索(query)+取回(fetch)。
搜索
取回
————分割————
1、Nginx日志分析系统
1.1、项目需求
Nginx是一款非常优秀的web服务器,往往nginx服务会作为项目的访问入口,那么,nginx的性能保障就变得非常重要了,如果nginx的运行出现了问题就会对项目有较大的影响,所以,我们需要对nginx的运行有监控措施,实时掌握nginx的运行情况,那就 需要收集nginx的运行指标和分析nginx的运行日志 了。
1.2、业务流程
说明:
- 通过Beats采集Nginx的指标数据和日志数据
- Beats采集到数据后发送到Elasticsearch中
- Kibana读取数据进行分析
- 用户通过Kibana进行查看分析报表
nginx安装
https://www.cnblogs.com/kaerxifa/p/11533595.html
Beats
https://www.elastic.co/cn/products/beats
2、Filebeat(文本日志)
2.1、架构
用于监控、收集服务器日志文件.
2.2、部署与运行
下载(或使用资料中提供的安装包,版本为:filebeat-6.5.4):https://www.elastic.co/downloads/beats
https://www.elastic.co/cn/downloads/past-releases/filebeat-6-5-4
mkdir /itcast/beats
tar -xvf filebeat-6.5.4-linux-x86_64.tar.gz
cd filebeat-6.5.4-linux-x86_64
#创建如下配置文件 itcast.yml
# input输入,标准输入stdin
# index.number_of_shards 是指索引要做多少个分片,只能在创建索引时指定,后期无法修改。
# output输出,输出到控制台。 美化+启用
filebeat.inputs:
- type: stdin
enabled: true
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
#启动filebeat
./filebeat -e -c itcast.yml
#输入hello运行结果如下:
hello
2.3、读取文件
#配置读取文件项 itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/beats/logs/*.log
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
#启动filebeat
[root@localhost filebeat-6.5.4-linux-x86_64]# pwd
/itcast/beats/filebeat-6.5.4-linux-x86_64
[root@localhost filebeat-6.5.4-linux-x86_64]# ./filebeat -e -c itcast-log.yml
#/haoke/beats/logs下创建touch a.log文件,并输入如下内容
# vim a.log
# echo hello world > a.log
#观察filebeat输出
{
}
可以看出,已经检测到日志文件有更新,立刻就会读取到更新的内容,并且输出到控制台。
2.4、自定义字段
#配置读取文件项 itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/beats/logs/*.log
tags: ["web"] #添加自定义tag,便于后续的处理
fields: #添加自定义字段
from: itcast-im
fields_under_root: true #true为添加到根节点,false为添加到子节点中
setup.template.settings:
index.number_of_shards: 3
output.console:
pretty: true
enable: true
#启动filebeat
./filebeat -e -c itcast-log.yml
#/itcast/beats/logs下创建a.log文件,并输入如下内容
123
#执行效果
2.5、输出到Elasticsearch
# itcast-log.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/beats/logs/*.log
tags: ["haoke-im"]
fields:
from: haoke-im
fields_under_root: false
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
#启动filebeat
./filebeat -e -c itcast-log.yml
#输入测试
echo 789 >> /itcast/beats/logs/a.log
2.6、Filebeat工作原理
Filebeat由两个主要组件组成:prospector 和 harvester。
- harvester
负责读取单个文件的内容。
如果文件在读取时被删除或重命名,Filebeat将继续读取文件。 - prospector
prospector 负责管理harvester并找到所有要读取的文件来源。
如果输入类型为日志,则查找器将查找路径匹配的所有文件,并为每个文件启动一个harvester。
Filebeat目前支持两种prospector类型:log和stdin。 - Filebeat如何保持文件的状态
Filebeat 保存每个文件的状态并经常将状态刷新到磁盘上的注册文件中。
该状态用于记住harvester正在读取的最后偏移量,并确保发送所有日志行。
如果输出(例如Elasticsearch或Logstash)无法访问,Filebeat会跟踪最后发送的行,并在输出再次可用时继续读取文件。
在Filebeat运行时,每个prospector内存中也会保存的文件状态信息,当重新启动Filebeat时,将使用注册文件的数据来重建文件状态,Filebeat将每个harvester在从保存的最后偏移量继续读取。
文件状态记录在data/registry文件中。
启动命令:
./filebeat -e -c itcast.yml
./filebeat -e -c itcast.yml -d "publish"
#参数说明
-e: 输出到标准输出,默认输出到syslog和logs下
-c: 指定配置文件
-d: 输出debug信息
#测试: ./filebeat -e -c itcast-log.yml -d "publish"
2020-10-18T19:08:23.166+0800 DEBUG [publish] pipeline/processor.go:308 Publish event: {
"@timestamp": "2020-10-18T11:08:23.164Z",
"@metadata": {
"beat": "filebeat",
"type": "doc",
"version": "6.5.4"
},
"source": "/itcast/beats/logs/a.log",
"message": "456",
"beat": {
"version": "6.5.4",
"name": "localhost.localdomain",
"hostname": "localhost.localdomain"
},
"offset": 68,
"tags": [
"haoke-im"
],
"prospector": {
"type": "log"
},
"input": {
"type": "log"
},
"fields": {
"from": "haoke-im"
},
"host": {
"name": "localhost.localdomain"
}
}
2.7、读取Nginx日志文件
# itcast-nginx.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /var/log/nginx/*.log
tags: ["nginx"]
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
#启动
./filebeat -e -c itcast-nginx.yml
浏览器访问一次,增加一条
可以看到,在message中已经获取到了nginx的日志,但是,内容并没有经过处理,只是读取到原数据,那么对于我们后期的操作是不利的,有办法解决吗?
2.8 Module
前面要想实现日志数据的读取以及处理都是自己手动配置的,其实,在Filebeat中,有大量的Module,可以简化我们的配置,直接就可以使用,如下:
./filebeat modules list
Enabled:
Disabled:
apache2
auditd
elasticsearch
haproxy
icinga
iis
kafka
kibana
logstash
mongodb
mysql
nginx
osquery
postgresql
redis
suricata
system
traefik
可以看到,内置了很多的module,但是都没有启用,如果需要启用需要进行enable操作:
./filebeat modules enable nginx #启动
./filebeat modules disable nginx #禁用
./filebeat modules list
Enabled:
nginx
可以发现,nginx的module已经被启用。
2.8.1、nginx module配置
[root@localhost filebeat-6.5.4-linux-x86_64]# cd modules.d/
[root@localhost modules.d]# pwd
/itcast/beats/filebeat-6.5.4-linux-x86_64/modules.d
[root@localhost modules.d]# vim nginx.yml
- module: nginx
# Access logs
access:
enabled: true
var.paths: ["/var/log/nginx/access.log*"]
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
#var.paths:
# Error logs
error:
enabled: true
var.paths: ["/var/log/nginx/error.log*"]
# Set custom paths for the log files. If left empty,
# Filebeat will choose the paths depending on your OS.
#var.paths:
2.8.2、配置filebeat
安装依赖(否则启动出错)
[elsearch@localhost bin]$ pwd
/itcast/es/elasticsearch-6.5.4/bin
[elsearch@localhost bin]$ ./elasticsearch-plugin install ingest-user-agent
[elsearch@localhost bin]$ /elasticsearch-plugin install ingest-geoip
# vim itcast-nginx.yml
filebeat.inputs:
#- type: log
# enabled: true
# paths:
# - /var/log/nginx/*.log
# tags: ["nginx"]
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
#启动
./filebeat -e -c itcast-nginx.yml
测试:访问nginx页面,查看elasticsearch,可以看到数据整理后的效果
(access:响应的状态码、remote_ip、请求method)
而不是直接一块message。
当然了,其他的Module的用法参加官方文档:
https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-modules.html
3、Metricbeat(内存,IO)
- 定期收集操作系统或应用服务的指标数据
- 存储到Elasticsearch中,进行实时分析
3.1、Metricbeat组成
Metricbeat有2部分组成,一部分是Module,另一部分为Metricset。
Module:收集的对象,如:mysql、redis、nginx、操作系统等;
Metricset:收集指标的集合,如:cpu、memory、network等;
.
3.2、部署与收集系统指标
下载地址:https://www.elastic.co/cn/downloads/past-releases/metricbeat-6-5-4
tar -xvf metricbeat-6.5.4-linux-x86_64.tar.gz
cd metricbeat-6.5.4-linux-x86_64
vim metricbeat.yml
修改如下:
output.elasticsearch:
# Array of hosts to connect to.
hosts: ["10.0.100.132:9200"]
#启动,默认配置文件就是metricbeat.yml
./metricbeat -e
在ELasticsearch中可以看到,系统的一些指标数据已经写入进去了:
system module配置:
[root@localhost modules.d]# pwd
/itcast/beats/metricbeat-6.5.4-linux-x86_64/modules.d
[root@localhost modules.d]# cat system.yml
# Module: system
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.5/metricbeat-module-system.html
- module: system
period: 10s
metricsets:
- cpu
- load
- memory
- network
- process
- process_summary
#- core
#- diskio
#- socket
process.include_top_n:
by_cpu: 5 # include top 5 processes by CPU
by_memory: 5 # include top 5 processes by memory
- module: system
period: 1m
metricsets:
- filesystem
- fsstat
processors:
- drop_event.when.regexp:
system.filesystem.mount_point: '^/(sys|cgroup|proc|dev|etc|host|lib)($|/)'
- module: system
period: 15m
metricsets:
- uptime
#- module: system
# period: 5m
# metricsets:
# - raid
# raid.mount_point: '/'
3.3、Module
./metricbeat modules list #查看列表
Enabled:
system #默认启用
3.4、Nginx Module
3.4.1、开启nginx的状态查询
在nginx中,需要开启状态查询,才能查询到指标数据。
#重新编译nginx
./configure --prefix=/usr/local/nginx --with-http_stub_status_module
make
make install
#配置nginx
vim nginx.conf
location /nginx-status {
stub_status on;
access_log off;
}
测试:
结果说明:
- Active connections:正在处理的活动连接数
- server accepts handled requests
第一个 server 表示Nginx启动到现在共处理了9个连接
第二个 accepts 表示Nginx启动到现在共成功创建 9 次握手
第三个 handled requests 表示总共处理了 21 次请求
请求丢失数 = 握手数 - 连接数 = 0,可以看出目前为止没有丢失请求 - Reading: 0 Writing: 1 Waiting: 1
Reading:Nginx 读取到客户端的 Header 信息数
Writing:Nginx 返回给客户端 Header 信息数
Waiting:Nginx 已经处理完正在等候下一次请求指令的驻留链接(开启keep-alive的情况下,这个值等于
Active - (Reading+Writing))
3.4.2、配置Nginx Module
#启用nginx module
./metricbeat modules enable nginx
#修改redis module配置
vim modules.d/nginx.yml
# Module: nginx
# Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.5/metricbeat-module-nginx.html
- module: nginx
#metricsets:
# - stubstatus
period: 10s
# Nginx hosts
hosts: ["http://10.0.100.132"]
# Path to server status. Default server-status
server_status_path: "server-status"
#username: "user"
#password: "secret"
#启动
./metricbeat -e
测试:
可以看到,nginx的指标数据已经写入到了Elasticsearch。
更多的Module使用参见官方文档:
https://www.elastic.co/guide/en/beats/metricbeat/current/metricbeat-modules.html
4、Kibana
Kibana 是一款开源的数据分析和可视化平台,它是 Elastic Stack 成员之一,设计用于和 Elasticsearch 协作。您可以使用 Kibana 对 Elasticsearch 索引中的数据进行搜索、查看、交互操作。您可以很方便的利用图表、表格及地图对数据进行多元化的分析和呈现。
官网:https://www.elastic.co/cn/products/kibana
4.1、配置安装
下载地址:https://www.elastic.co/cn/downloads/past-releases/kibana-6-5-4
#解压安装包
tar -xvf kibana-6.5.4-linux-x86_64.tar.gz
#修改配置文件
cd kibana-6.5.4-linux-x86_64
vim config/kibana.yml
server.host: "10.0.100.132" #对外暴露服务的地址
elasticsearch.url: "http://10.0.100.132:9200" #配置Elasticsearch
#启动
./bin/kibana
#通过浏览器进行访问
http://10.0.100.132:5601/app/kibana
可以看到kibana页面,并且可以看到提示,导入数据到Kibana。
4.2、功能说明
4.3、数据探索
首先先添加索引信息:
即可查看索引数据:
4.4、Metricbeat 仪表盘
可以将Metricbeat的数据在Kibana中展示。
#修改metricbeat配置
setup.kibana:
host: "10.0.100.132:5601"
#安装仪表盘到Kibana
./metricbeat setup --dashboards
即可在Kibana中看到仪表盘数据:
查看系统信息:
4.5、Nginx 指标仪表盘
4.6、Nginx 日志仪表盘
#修改配置文件
[root@localhost beats]# cd filebeat-6.5.4-linux-x86_64/
[root@localhost filebeat-6.5.4-linux-x86_64]# vim itcast-nginx.yml
filebeat.inputs:
setup.template.settings:
index.number_of_shards: 3 #指定索引的分区数
output.elasticsearch: #指定ES的配置
hosts: ["10.0.100.132:9200"]
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
setup.kibana:
host: "10.0.100.132:5601"
#安装仪表盘到kibana
./filebeat -c itcast-nginx.yml setup
#启动filebeat
./filebeat -e -c itcast-nginx.yml
可以看到nginx的FileBeat的仪表盘了:
通过filebeat采集nginx日志,发送到Elasearch中,通过kibana展示
4.7、自定义图表
在Kibana中,也可以进行自定义图表,如制作柱形图:
将图表添加到自定义Dashboard中:
4.8、开发者工具
在Kibana中,为开发者的测试提供了便捷的工具使用,如下:
查询
5、Logstash
5.1、简介
5.2 部署安装
logstash:https://www.elastic.co/cn/downloads/past-releases/logstash-6-5-4
#检查jdk环境,要求jdk1.8+
java -version
#解压安装包
mkdir -p /itcast/logstash/logs
cd /itcast/logstash/
tar -xvf logstash-6.5.4.tar.gz
#第一个logstash示例
cd /itcast/logstash/logstash-6.5.4
bin/logstash -e 'input { stdin { } } output { stdout {} }'
执行效果如下:
5.3、配置详解
Logstash的配置有三部分,如下:
input { #输入
stdin { ... } #标准输入
}
filter { #过滤,对数据进行分割、截取等处理
...
}
output { #输出
stdout { ... } #标准输出
}
5.3.1、输入
- 采集各种样式、大小和来源的数据,数据往往以各种各样的形式,或分散或集中地存在于很多系统中。
- Logstash 支持各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。
5.3.2、过滤
- 实时解析和转换数据
- 数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它
们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。
5.3.3、输出
Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。
5.4、读取自定义日志
前面我们通过Filebeat读取了nginx的日志,如果是自定义结构的日志,就需要读取处理后才能使用,所以,这个时
候就需要使用Logstash了,因为Logstash有着强大的处理能力,可以应对各种各样的场景。
5.4.1、日志结构
可以看到,日志中的内容是使用“|”进行分割的,使用,我们在处理的时候,也需要对数据做分割处理。
2020-10-19 09:11:21|ERROR|读取数据出错|参数:id=1002
5.4.2、编写配置文件
# mkdir -p /itcast/logstash/logs
#写日志到文件
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数:id=1002" >> /itcast/logstash/logs/app.log
#vim itcast-pipeline.conf
input {
file {
path => "/itcast/logstash/logs/app.log"
start_position => "beginning"
}
}
filter {
mutate {
split => {
"message" => "|"
}
}
}
output {
stdout {
codec => rubydebug
}
}
5.4.3、启动测试
[root@localhost logstash-6.5.4]# pwd
/itcast/logstash/logstash-6.5.4
#启动
[root@localhost logstash-6.5.4]# ./bin/logstash -f ./itcast-pipeline.conf
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数:id=1002" >> /itcast/logstash/logs/app.log
输出结果:
可以看到,数据已经被分割了。
5.4.4、输出到Elasticsearch
修改output
#vim itcast-pipeline.conf
input {
file {
path => "/itcast/logstash/logs/app.log"#
type => "system"
start_position => "beginning"
}
}
filter {
mutate {
split => {
"message" => "|"
}
}
}
output {
elasticsearch {
hosts => ["10.0.100.132:9200"]
}
}
#启动
./bin/logstash -f ./itcast-pipeline.conf
#写入数据
echo "2020-10-19 09:11:21|ERROR|读取数据出错|参数:id=1003" >> /itcast/logstash/logs/app.log
echo "2020-10-20 09:11:21|ERROR|读取数据出错|参数:id=1004" >> /itcast/logstash/logs/app.log
6、综合练习
将前面所学习到的Elasticsearch + Logstash + Beats + Kibana整合起来做一个综合性的练习
itcast-dashboard-generate-1.0-SNAPSHOT.jar
6.1、流程说明
- 应用APP生产日志,用来记录用户的操作
[INFO] 2019-03-15 22:55:20 [cn.itcast.dashboard.Main] - DAU|5206|使用优惠券|2019-03-15
03:37:20
[INFO] 2019-03-15 22:55:21 [cn.itcast.dashboard.Main] - DAU|3880|浏览页面|2019-03-15 07:25:09 - 通过Filebeat读取日志文件中的内容,并且将内容发送给Logstash,原因是需要对内容做处理
- Logstash接收到内容后,进行处理,如分割操作,然后将内容发送到Elasticsearch中
- Kibana会读取Elasticsearch中的数据,并且在Kibana中进行设计Dashboard,最后进行展示
说明:日志格式、图表、Dashboard都是自定义的。
部署:
#打包成jar包,在linux上运行
java -jar itcast-dashboard-generate-1.0-SNAPSHOT.jar
#运行之后,就可以将日志写入到/itcast/logs/app.log文件中
APP代码:
package cn.itcast.dashboard;
import org.apache.commons.lang3.RandomUtils;
import org.joda.time.DateTime;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.boot.autoconfigure.SpringBootApplication;
@SpringBootApplication
public class Main {
private static final Logger LOGGER = LoggerFactory.getLogger(Main.class);
public static final String[] VISIT = new String[]{"浏览页面", "评论商品", "加入收藏", "加入购物车", "提交订单", "使用优惠券", "领取优惠券", "搜索", "查看订单"};
public static void main(String[] args) throws Exception {
while(true){
Long sleep = RandomUtils.nextLong(200, 1000 * 5);
Thread.sleep(sleep);
Long maxUserId = 9999L;
Long userId = RandomUtils.nextLong(1, maxUserId);
String visit = VISIT[RandomUtils.nextInt(0, VISIT.length)];
DateTime now = new DateTime();
int maxHour = now.getHourOfDay();
int maxMillis = now.getMinuteOfHour();
int maxSeconds = now.getSecondOfMinute();
String date = now.plusHours(-(RandomUtils.nextInt(0, maxHour)))
.plusMinutes(-(RandomUtils.nextInt(0, maxMillis)))
.plusSeconds(-(RandomUtils.nextInt(0, maxSeconds)))
.toString("yyyy-MM-dd HH:mm:ss");
String result = "DAU|" + userId + "|" + visit + "|" + date;
LOGGER.info(result);
}
}
}
6.2、Filebeat
在Filebeat部署logstash服务
#vim itcast-dashboard.yml
filebeat.inputs:
- type: log
enabled: true
paths:
- /itcast/logs/*.log # 读取日志文件
setup.template.settings:
index.number_of_shards: 3
output.logstash:
hosts: ["master:5044"] # 指向logstash
#启动,先启动Logstash再启动filebeat
./filebeat -e -c itcast-dashboard.yml
6.4、Logstash
#vim itcast-dashboard.conf
input {
beats {
port => "5044" # 从5044端口输入
}
}
filter {
mutate {
split => {"message"=>"|"} # 分割
}
mutate {
add_field => { # 读取数据
"userId" => "%{message[1]}"
"visit" => "%{message[2]}"
"date" => "%{message[3]}"
}
}
mutate { # 转化格式
convert => {
"userId" => "integer"
"visit" => "string"
"date" => "string"
}
}
}
#output {
# stdout { codec => rubydebug }
#}
output {
elasticsearch { # 输出到elasticsearch
hosts => [ "master:9200","salve1:9200","salve2.135:9200","salve3.135:9200"]
}
}
#启动
./bin/logstash -f itcast-dashboard.conf
6.5、Kibana
启动Kibana:
#启动
./bin/kibana
#通过浏览器进行访问
http://master:5601/app/kibana
添加Logstash索引到Kibana中:
6.5.1、时间间隔的柱形图
说明:x轴是时间,以天为单位,y轴是count数
保存:(my-dashboard-时间间隔的柱形图)
6.5.2、各个操作的饼图分布
通过上面数据的字段名获取得到。然后通过标签可以把visit去掉,更好的展示
统计各个操作的数量,形成饼图。
保存:(my-dashboard-各个操作的饼图)
6.5.3、数据表格
在数据探索中进行保存,并且保存,将各个操作的数据以表格的形式展现出来。
保存:(my-dashboard-表格)
6.5.4、制作Dashboard
上面的jar包木有。 随便自己弄一下,掌握大概