ELK入门
文章平均质量分 62
Netceor
只要头没秃未来总比现在苦
展开
-
ELK入门——ELK详细介绍(ELK概念和特点、Elasticsearch/Logstash/beats/kibana安装及使用介绍、插件介绍)
主要参考链接ES内容大全(Elastic中国社区官方博客)ES视频教程(Elastic中国社区官方博客)Elastic相关软件和插件(官网)ES中文社区(讨论和提问)我的ELK专栏Linux操作(鸟哥的私房菜)Linux常用命令一、什么是ELK(端口9200)ELK学习总结——我们为什么要用ELK一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢原创 2021-03-11 10:58:34 · 23798 阅读 · 3 评论 -
ELK入门(一)——Xshell 7与Xftp 7安装与使用(多窗口同时发送命令)
参与了团队项目,用到了一个日志分析系统ELK,搭建的过程不是由我完成的,网上已经有了很多的原理分享贴,于是我就分享一些自己在使用方面遇到的问题和坑。一、Xshell7与Xftp7安装可以直接在官网安装:https://www.xshellcn.com/xiazai.html,也可以去找一个破解版Xshell7用于Lunix代码运行,Xftp7可查看各服务器上的文件信息,并用于Windows与Lunix之间的文件传输二、Xshell7加入服务器左上角新建文件→输入名称和主机IP→用户身份验原创 2021-01-22 16:26:38 · 2333 阅读 · 0 评论 -
ELK入门(二)——ELK搭建+Head插件安装(rpm包)
一、安装rpm包1.rpm包下载我是其他途径下载的,不过可以利用以下链接直接进行下载wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.1.rpmwget https://artifacts.elastic.co/downloads/logstash/logstash-7.10.1.rpmwget https://artifacts.elastic.co/downloads/kibana/原创 2021-01-23 16:10:48 · 1557 阅读 · 0 评论 -
ELK入门(三)——Kibana:Json文件导入和展示
团队搭建的ELK是7.10.0版本,Kibana、Elasticsearch、Logstach、filebeat都已经搭建完成了,一般的log数据常存储在cd /var/log中,我下载了官网的json文件用于模拟,下载链接https://download.elastic.co/demos/kibana/gettingstarted/accounts.zip,这是一个银行的用户数据。bilibili:ELK 日志采集分析框架 【elasticsearch、logstash、...原创 2021-01-22 16:59:59 · 5681 阅读 · 0 评论 -
ELK入门(四)——logstash上传messages至ES,在Kibana检索
如何上传:https://blog.51cto.com/jinlong/2055042解决数据量变少,https://blog.csdn.net/ljfphp/article/details/89340807,因为已经在一个点运行运行后到head查看,这时应该已经有了相关的记录,有可能有延时可以多刷新几次。创建Index pattern这里的pattern name不一定要全名,也可以logstash-systemlog*,就可以将所有前缀为logstash-systemlog的原创 2021-01-22 17:48:16 · 1400 阅读 · 2 评论 -
ELK入门(五)——messages和log日志生成时间替换时间戳(grok+data)
一、参考网站官方预定义的 grok 表达式:https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patternsgrok·ELKstack中文指南:https://elkguide.elasticsearch.cn/logstash/plugins/filter/grok.htmlLogstash基础正则地址:https://github.com/elastic/logstash原创 2021-01-22 17:47:12 · 3089 阅读 · 0 评论 -
ELK入门(六)——Filebeat安装与启动(rpm包)+logstash(rpm包)
一、filebeat安装# 下载wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.10.0-linux-x86_64.tar.gz# 解压tar -zxvf filebeat-7.10.0-linux-x86_64.tar.gz其中版本号(7.10.0字段)可以依据需要更改,解压后出现filebeat-7.10.0-linux-x86_64的文件夹二、yml配置在该文件夹下有一个fileb原创 2021-01-23 10:30:51 · 2052 阅读 · 0 评论 -
ELK入门(七)——Metricbeat安装与启动(rpm包)
ahttps://blog.csdn.net/u014773389/article/details/81207017原创 2021-01-26 14:04:25 · 2165 阅读 · 0 评论 -
ELK入门(八)——Logstash多beat配置(以Filebeat、Metricbeat为例)
之前的文章中我们用Filebeat连接Logstash实现了到es的传输,但如果我们有多种采集器(beat)时,该如何配置呢。我尝试了几种方法一、多端口(不推荐)在之前文章中,我们的Filebeat和Logstash之间通过5044端口进行传输,如果想要不同的beat,可以开设不同的端口号,例如Filebeat为5044,Metricbeat为5043。1.配置logstashvim /etc/logstash/conf.d/logstash-sample.confinput {原创 2021-01-26 17:24:47 · 3356 阅读 · 2 评论 -
ELK入门(九)——Heartbeat安装与配置
a原创 2021-01-27 14:31:18 · 1680 阅读 · 3 评论 -
ELK入门(十)——Beats的多服务器/系统部署(以Metricbeat为例)并Kibana查看
一、多机器安装Metricbeat这个前面已经练习过很多次了,就不重复了二、logstash.yml配置input { beats { port => 5044 }}output { elasticsearch { hosts => ["172.31.131.224:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-test" }}通过这段语句,原创 2021-01-27 16:05:35 · 674 阅读 · 0 评论 -
ELK入门(十一)——logastash、beat设置开机自动启动/systemctl命令启动
如果安装的是tar包,是不会配置进系统的,每次都得手动开启,十分麻烦,因此进行系统配置,使其可以开机自动启动,且可以使用systemctl命令直接运行一、配置文件(以filebeat为例)1.创建filebeat.servicecd /lib/systemd/systemvim filebeat.serviceLunix就是如果没有文件,编辑后有内容就会自动创建文件,因此直接vim就可以了2.参考博客:filebeat设置开机自启动...原创 2021-02-02 11:11:09 · 1017 阅读 · 3 评论 -
ELK入门(十二)——Elasticsearch-head/Kibana-Dev tools按条件处理索引(删除)
a原创 2021-02-02 15:32:25 · 1478 阅读 · 0 评论 -
ELK入门(十三)——filebeat实现时间戳更改(利用pipeline)
一、在Dev tool中新建pipelinePUT _ingest/pipeline/isodate # test-news-server-online 为流水线的名称{ "description": "ISOdate", # 对 pipeline 进行描述 "processors": [ { "grok": { # 使用 grok 对日志内容进行提取 "field": "message",原创 2021-02-19 16:34:45 · 5134 阅读 · 3 评论 -
ELK入门(十四)——自定义grok并生成pipeline提取字段
一、提取字段grok相关可参考博客ELK入门(五)——messages和log日志生成时间替换时间戳(grok+data)2020-11-21 00:19:47,459 INFO org.fasfasfsa: fdsafdas: [nice, -n, 0, bash, /sdada/appcache/application_315146546_156/contanier_fd4156_fdsafasdfasd/fsfs_dsa.sh]以上是我想要匹配的语句【其中很多是我键盘随意打出的,只留..原创 2021-02-21 14:11:16 · 1841 阅读 · 0 评论 -
ELK入门(十五)——Kibana之DashBoard简易自定义设计一(折线、表格、计数、饼图、条形图)
一、数据分析1.目前已有的数据N个不同的host.nameN个不同的operation:操作类型,Delete、Copy、launchContanier、CWDN个不同的application关于数据的字段提取参见ELK入门(十四)——自定义grok并生成pipeline2.计划实现的效果(1)显示活跃的host数量和application数量(文字)(2)对host数量去重计数,得到在最多host上运行的application编号(表格)(3)对application数原创 2021-02-22 09:48:35 · 3256 阅读 · 0 评论 -
ELK入门(十五)——Kibana之DashBoard简易自定义设计二(Line+Dot Size、Table、Unique Count、Pie、Horizontal Bar)
一、数据分析1.目前已有的数据字段N个不同的host.name:主机名N个不同的application:host上运行的application的id三种不同的info类型:INFO、ERROR、WARN关于数据的字段提取参见方式一:grok+pipeline过滤ELK入门(十四)——自定义grok并生成pipeline方式二:Kibana Scripts Field根据已有索引自定义生成新字段ELK入门(十六)——Kibana-Painless-Scripts-Fields,对索原创 2021-02-25 15:01:06 · 1219 阅读 · 0 评论 -
ELK入门(十六)——Kibana-Painless-Scripts-Fields,对索引字段提取处理,生成新的脚本化字段
一、前言官网:脚本化字段介绍:https://www.elastic.co/guide/cn/kibana/current/scripted-fields.html脚本化字段示例:https://www.elastic.co/cn/blog/using-painless-kibana-scripted-fields(这个网站不知道为什么有时候会刷出空内容,多刷新几次就好了)Painless语法:https://www.elastic.co/guide/en/elasticsearch/pai原创 2021-02-23 13:32:11 · 3094 阅读 · 0 评论 -
ELK入门(十七)——Kibana之IK分词器安装、自定义和详细使用测试
一、前言ik分词器是一个方便中文分词的工具,在英文中,基本是一个个的单词表征含义,而中文的词语分割很重要,比如小米手机,如果不用IK分词器,ES默认的分词结果是“小”“米”“手”“机”,而安装了分词器之后,可以识别“小米”“手机”,除基本单词切割外,我们也可以自己定义需要的单词,例如如果有必要的话,可以在配置文件中加入“米手”,单词分割就可以识别“小米”“米手”“手机”。利用分词器可以增强检索效果,更好地匹配数据内容,符合中文习惯。二、安装1.版本我们要先找到对应我们ES版本的IK分词器,在原创 2021-02-24 18:06:12 · 11301 阅读 · 0 评论 -
ELK入门(十八)——Kibana APM server安装部署
一、前言APM官网安装地址(含完整操作过程):https://www.elastic.co/guide/en/apm/server/7.10/installing.html参考博客:Linux 环境 离线 ELK7.4.0之APM服务安装(含kibana配套使用说明)...原创 2021-02-25 18:00:38 · 3596 阅读 · 0 评论 -
ELK入门(十九)——Auditbeat安装、启动与可视化
一、安装包可以到官网找到对应的安装方式:https://www.elastic.co/guide/en/beats/auditbeat/7.10/auditbeat-installation-configuration.htmltar.gz直接用连接https://artifacts.elastic.co/downloads/beats/auditbeat/auditbeat-7.10.1-linux-x86_64.tar.gz下载# 解压tar xzvf auditbeat-7.10.1-原创 2021-03-01 14:25:19 · 1496 阅读 · 0 评论 -
ELK入门(二十)——插件Cerebro(kopf升级版)安装
Cerebro是一个集群管理工具,比Kibana轻量很多,很适用与生产和测试等环境的es集群管理。它是kopf的升级版本,更改了个名字,包含kopf的功能(监控工具,并包含head插件的部分功能,可图形化的进行新建索引等操作。现在kopf已经不再更新,只对cerebro进行维护。一、下载https://github.com/lmenezes/cerebro/releases在这个页面下载最新版插件的zip包。放置到Elasticsearch/plugins目录下cd /data/elk-.原创 2021-03-09 15:39:14 · 869 阅读 · 3 评论 -
ELK入门(二十一)——插件bigdesk安装
bigdesk是一套用于监控es的插件,可以通过它来查看es集群的各种状态,如:cpu、内存使用情况,索引数据、搜索情况,http连接数等。和head一样,它也是个独立的网页程序。一、下载https://github.com/hlstudio/bigdesk在这个页面下载插件的zip包。放置到Elasticsearch/plugins目录下cd /data/elk-ayers/elasticsearch-7.10.1-node01/plugins二、解压unzip bigdesk原创 2021-03-09 16:59:07 · 570 阅读 · 0 评论 -
ELK入门——踩坑:version conflict,required seqNo [],primary term [],but no document was found
一、前言在ES-head删除索引的时候常常出现很多问题,当大数据量删除的时候往往不是超时就是报错409冲突,具体内容是version conflict,required seqNo [],primary term [],but no document was found出现这个的原因主要是因为使用随机_id,es内的乐观锁造成的删除不够完全,导致版本号冲突。乐观锁相关的说明可以参见博客Elasticsearch-并发冲突处理机制网上有说要改用自定义的_id,但是其实不需要,当数据量大的时候也原创 2021-02-20 15:30:37 · 12968 阅读 · 1 评论 -
ELK入门——解决:Data path already locked by another beat.Please make sure that multiple beats not sharing
在ELK相关部件的运行过程中,报出了这样的错误,这种情况下我们可以查看输出日志,找到我们的Data path到这个路径下,查看文件,发现存在一个.lock文件,使用删除命令进行删除。重新运行,就可以正常启动了。cd 路径# 查看文件ls# 删除.lock文件rm -rf xxx.lock...原创 2021-02-25 15:42:46 · 5040 阅读 · 0 评论 -
ELK入门——解决:Saved field ““ is invalid for use with the “Terms“ aggregation.Please select a new field.
一、前言解决方案适用于各beat。auditbeat的具体安装过程见博客我在安装完成auditbeat并导入模板后,发现在kibana的可视化界面没有正常生成图像,而是出现了Saved field "" is invalid for use with the "Terms" aggregation.Please select a new field.的问题。从字面看,是字段的类型不允许以“term”的方式聚合,而且模板也无法编辑。我们到Stack Management→Index Pat原创 2021-03-01 14:24:35 · 765 阅读 · 0 评论 -
ELK入门——解决:could not load plugin descriptor for plugin directory []
在ES的IK分词器安装完成后启动ES,出现了这样的报错,还跟随着Likely root cause......plugins/ik/plugin-descriptor.properties的类似语句。到系统提示的plugins/ik/目录下,我们发现不存在plugin-descriptor.properties文件。这个其实是因为压缩包的内容不够完整,下载时应该在官网下载elasticsearch-analysis-ik-版本号.zip,而不是source code.zip,如果是source code原创 2021-02-25 13:30:49 · 8138 阅读 · 0 评论 -
ELK入门——解决:analyzer [] has not been configured in mappings []
报这个错误的原因主要是没有安装分词器。如果自己搭建的是一个ES集群,那么需要在每个节点进行IK分词器的安装,而不是仅仅安装在主节点IK分词器的相关内容参见博客ELK入门(十七)——Kibana之IK分词器安装、自定义和详细使用测试...原创 2021-02-25 13:37:03 · 12211 阅读 · 0 评论 -
ELK入门——解决:node settings must not contain any index level settings
这个错误是因为在5.0以上版本Elasticsearch中不支持包含任何索引级别设置。也就是不支持在elasticsearch.yml中配置index.xxx的语句。我的这个错误是在安装ES的插件IK分词器中出现的,原因是我看到有些博客说要添加index.analysis.analyzer.ik.type : “ik”的语句,重启后会导致这种错误。实际上,在5.0以上版本的ES中安装IK分词器,只要安装官网压缩包并解压到相应位置就可以自动完成配置,并不需要在es的配置文件中再加入语句,相关内容参见博原创 2021-02-25 13:35:52 · 3399 阅读 · 0 评论 -
ELK入门——解决:Scripts Fields利用正则表达式提取,m.matches()返回false,无法正确匹配
更多的Scripts Fields具体细节和操作,以及正则表达式请参考博客ELK入门(十六)——Kibana-Painless-Scripts-Fields,对索引字段提取处理,生成新字段在Kibana创建Scripts Fields后,采用正则表达式想要匹配内容,却无法产生结果。在m=/pattern/.matcher(tset)后,利用m.matches()查看是否正确匹配,却返回false。很多时候,感觉自己的语法没有问题,理论上应该匹配到结果,但是查看m.matches()返回值为false原创 2021-02-23 16:32:36 · 1151 阅读 · 0 评论 -
ELK入门——解决:Kibana的Stack Monitoring显示节点offline
我的metricbeat运行正常,在dashboard中可以查看到相应数据,但是打开Stack monitoring,却发现节点全是offline,调了很多地方,所以只是给大家一个参考,调的过程中不确定有没有什么不太合适的地方,这些都完成后,刷新了几次页面就可以正常显示了。原本的错误场景大概如下图,这是别人博客里的,因为我已经正常了,所以没有截图。一、配置kibana.yml首先要参考的是官网给出的详细配置说明https://www.elastic.co/guide/en/kibana/cu.原创 2021-02-03 18:22:36 · 3135 阅读 · 2 评论 -
ELK入门——解决:Elasticsearch-head集群健康值:未连接
在ES-head搭建完成后,页面可以打开,但是遇到了集群健康值未连接的问题我目前知道有两种可能的原因,一个是节点数设置错误,一个是配置问题,因为默认不允许跨域访问,所以需要我们进行设置方法一:节点设置vim /etc/elasticsearch/elasticsearch.ymlcluster.initial_master_nodes: ["node-1", “node-2”] == > cluster.initial_master_nodes: ["node-1"],节点默认是两个原创 2021-01-28 09:53:42 · 1284 阅读 · 2 评论 -
ELK入门——解决:Elasticsearch-head索引无法删除
使用Elasticsearch-head的过程中发现一个小问题,就是删除索引没有反应,在网页F12调出控制台看了看,有报错误,是跨域问题,可能是在elasticsearch的配置文件中设置不对,查看配置文件将打框内容直接注释掉,或者将其他请求方式加上。我当时只设置了一种允许方式就是“GET”,所以有问题。注释掉就好了vim /etc/elasticsearch/elasticsearch.yml...原创 2021-01-28 10:04:11 · 1345 阅读 · 0 评论 -
ELK入门——解决:Kibana server is not ready yet
1.设置节点数当时我遇到另一个问题,就是Elasticsearch-head集群健康值:未连接。可能是设置节点数的问题,原本Kibana是报错Kibana server is not ready yet,但当我通过调整节点的配置解决了集群健康值的连接问题后,Kibana就能打开了。具体方式vim /etc/elasticsearch/elasticsearch.ymlcluster.initial_master_nodes: ["node-1", “node-2”] == > clu原创 2021-01-28 10:02:14 · 5150 阅读 · 0 评论 -
ELK入门——解决:Failed to start heartbeat.service: Unit not found
以往我们都是直接start logastash/filebeat,但是直接运行heartbeat我们会发现失败了,提示没有找到这个servicesystemctl start heartbeat其实是heartbeat的服务名不对,用下面这行语句查看服务,我们可以找到heartbeat所对应的.servicesystemctl list-unit-files --type=service重新运行下面语句就可以了systemctl start heartbeat-elasti原创 2021-01-27 11:57:26 · 767 阅读 · 0 评论 -
ELK入门——解决:Metricbeat加载Dashboard报错error connecting to Kibana: fail to get the Kibana version
在Metricbeat加载Dashboard的过程中,出现了一个报错metricbeat setup --dashboardsExiting: error connecting to Kibana: fail to get the Kibana version: HTTP GET request to http://localhost:5601/api/status fails: fail to execute the HTTP GET request: Get "http://localhost原创 2021-01-26 11:15:07 · 2769 阅读 · 0 评论 -
ELK入门——解决:[LogStash::Runner] runner - Logstash shut down
如果logstash运行后已经出现Successfully started Logstash API endpoint {:port=>9600}后,又很快出现一条[LogStash::Runner] runner - Logstash shut down.就关闭了logstash很大可能是因为配置文件没有找到或者有语法问题,我在配置文件的时候总是这么大意解决:1.检查一下自己运行的配置文件路径是否正确,这是我第一次犯的错误....2.检查一下配置文件的内容,这是我第2,3,N....原创 2021-01-26 17:15:08 · 2682 阅读 · 0 评论 -
ELK入门——解决:Job for elasticsearch.service failed because the control process exited with error code.
修改elasticsearch的配置文件vim /etc/elasticsearch/elasticsearch.yml改动其中一行discovery.seed_hosts: ["0.0.0.0"]原创 2021-01-25 10:03:31 · 9394 阅读 · 1 评论 -
ELK入门——解决:删除索引,重运行logstach后messages数据量变少
logstash在第一次导入数据时将自动创建一个文件监控记录(sincedb),则logstach会认为该文件已经读取过,即使删除索引,也不会重头读取。导致重新运行logstash会发现记录量非常少,有两种解决办法一、禁止sincedb在配置文件中加入代码行sincedb_path => "/dev/null",即input { file { path => "/var/log/messages" type => "systemlog" start原创 2021-01-22 17:34:40 · 1260 阅读 · 0 评论 -
ELK入门——解决:logstash运行失败[LogStash::Runner] Logstash - java.lang.IllegalStateException
第一次运行成功后,就开启了一个进程,在一个系统中启动多个实例容易产生问题,我多次运行后报了这种错误。[LogStash::Runner] Logstash - java.lang.IllegalStateException: Logstash stopped processing because of an error: (SystemExit) exit法一:杀死进程重新启动# 查看进程号ps -ef|grep logstash# 杀死进程kill -9 XXXX参见L.原创 2021-01-26 17:16:49 · 7447 阅读 · 0 评论