Jiangxl~
CSDN博客专家、51CTO专家博主、阿里云博客专家、华为云享专家、DevOps运维领域优质创作者、
2021年度博客之星运维与安全领域TOP1,InfoQ签约作者、阿里云社区签约作者。博客包括:Python、前端、Kubernetes、Docker、CI/CD、DevOps、Prometheus、Zabbix、MQ、Redis、MySQL、WEB集群、自动化运维、阿里云、ELK、Linux、等相关使用及进阶知识。查看博客过程中,如有任何问题,皆可随时沟通。
展开
-
es查看集群状态常用命令
active_shards_percent_as_number这个值如果低于100说明集群数据正确性存在问题,集群状态为yellow或者red都会使这个值低于100。1.查看集群数据的正确率。2.查看集群索引的状态。原创 2022-09-22 15:42:26 · 2819 阅读 · 2 评论 -
实现基于EFK日志平台收集Kubernetes集群日志信息
kubernetes集群基于EFK实现日志收集平台文章目录kubernetes集群基于EFK实现日志收集平台1.EFK工作原理2.部署EFK平台2.1.部署nfs2.2.部署elasticsearch2.2.1.创建es的pv及pvc资源2.2.2.准备elasticsearch镜像并推送至harbor2.2.3.编写elasticsearch yaml文件2.2.4.创建lasticsearch资源并查看状态2.3.部署kibana2.3.1.准备kibana的pv及pvc资源2.3.2.准备kiban原创 2021-08-18 10:15:53 · 1676 阅读 · 2 评论 -
部署ELK+Kafka+Filebeat日志收集分析系统
ELK+Kafka+Filebeat日志系统文章目录ELK+Kafka+Filebeat日志系统1.环境规划2.部署elasticsearch集群2.1.配置es-1节点2.2.配置es-2节点2.3.配置es-3节点2.4.使用es-head插件查看集群状态3.部署kibana4.部署zookeeper4.1.配置zookeeper-1节点4.2.配置zookeeper-2节点4.3.配置zookeeper-3节点4.4.启动所有节点5.部署kafka5.1.配置kafka-1节点5.2.配置kafka原创 2021-08-16 15:16:05 · 28130 阅读 · 29 评论 -
Filebeat收集JAVA堆报错日志
上面的这一段日志就是一个典型的JAVA堆多行报错内容了,可以看到这个事务中是有很多行组成的,使用传统的日志收集,这四行堆日志是单独作为一行采集的,在kibana呢,这四行也是单独展示的,脱离了上下文的显示,非常不利于日志的一个分析。将正则匹配出的堆日志内容合并到上一行的开头或者末尾,after表示开头,before表示结尾,这个参数可以将我们匹配出的内容与不匹配的行合并在一起,也就形成了将举例日志内容的4行全部合并到了一起,达成了我们想要的效果。可以增加一个message字段,只查看日志的内容。...原创 2022-07-19 09:17:50 · 1128 阅读 · 0 评论 -
使用filebeat+logstash收集Nginx应用日志
可以看到Nginx产生的日志是有很多字段内容的,比如客户端IP、请求的URL、请求的状态码、使用的浏览器类型等等,针对这些内容是很有必要解析出单个字段的,便于我们在kibana中进行查询。采用Nginx自己的JSON格式的日志格式去收集日志数据,在logstash中使用json插件进行解析。我们使用logstash的grok插件,通过正则的方式将每一个部分的内容解析成字段格式。左侧添加上中文的字段名,查询具体的日志内容。产生Nginx日志,多访问几次Nginx。左侧添加上要查询的字段,进行数据查询。...原创 2022-07-19 09:16:44 · 1130 阅读 · 0 评论 -
Filebeat采集日志交给Logstash
filebeat是轻量级的日志采集工具,可以将采集的日志交给logstash进行过滤匹配,然后由logstash存储到ES集群,也可以直接存储到ES集群中。原创 2022-07-19 09:13:41 · 1351 阅读 · 0 评论 -
Kibana索引模式数据搜索
kibana7.9版本相较于7.6版本已经有了很大的变化。原创 2022-07-19 09:12:16 · 1867 阅读 · 0 评论 -
Logstash数据处理服务的过滤插件GeoIP解析IP地址的地理位置
GeoIP插件可以根据Maxmind Geolite2数据库中的数据展现出相关IP地址的地理位置信息。使用GeoIP获取IP地址的地理位置信息需要事先准备一个数据库,这个数据库中需要记录有关IP的地址位置信息,当然这个IP需要是公网IP,私网IP是无法获取其地理信息的。Maxmind Geolite2数据库企业版经纬度精确,免费版精确度略低。GeoIP常用字段:Geo相关数据库文件的下载地址:3.配置Logstash使用GeoIP获取用户IP的地址位置信息使用geoip之前先要使用grok过滤出用户IP原创 2022-07-13 10:34:23 · 1033 阅读 · 1 评论 -
使用Logstash过滤插件Grok实现多模式匹配
一个日志文件很有可能存在多种不同数据格式的日志,tomcat的日志文件中就存在多种不同格式的日志数据。我们需要兼容几种不同格式的日志,就需要使用到grok的多模式匹配了,针对日志数据字段的不同,配置多种格式的正则表达式,将可能出现的数据格式全部都配置一个正则模式,日式数据采集以后,首先使用第一个正则模式去匹配,不兼容则使用第二个正则去匹配,直到最终匹配到对应的内容。grok多模式语法格式:1)首先编写正则表达式分别匹配出两个数据的字段2)配置logstash使用grok多模式匹配成功的将两种不同类型原创 2022-07-13 10:32:04 · 1933 阅读 · 0 评论 -
使用Logstash过滤插件Grok直接写正则表达式获取日志数据
我们可以直接在grok的match配置中去编写正则表达式,获取对应的日志数据,通过正则表达式的分组语法来实现。语法配置格式:其中分组名就是我们将过滤出来的日志数据存储到那个字段中,相当于是字段名,re就是具体的表达式内容了。客户端IP字段(第一列)思路:IP一般都是IPV4,由4部分数字组成,每部分数字不超过3位,且每部分以进行分隔我们可以使用匹配出数字类型的内容,然后设置数字数量必须在1-3个之间,每个字段部分以进行分隔匹配,号在正则中表示任意字符,需要使用进行转移。请求类型字段(第二列)思路:第二列是原创 2022-07-13 10:30:59 · 912 阅读 · 0 评论 -
使用Logstash过滤插件Grok的内置正则实现日志数据格式化
格式化之前的日志内容一条nginx的日志内容,第一列是客户端IP,第二列是请求方式,第三列是请求的URL,第四列是请求的文件大小,第五列是响应时间,如果这条数据不进行格式化,我们是无法针对性的去匹配相应的日志内容,比如想统计出响应时间比较长的页面,我们就需要去筛选第五列了,但是日志不进行格式化,就无法针对第五列去做筛选。kibana上可以针对grok的表达式进行调试点击Management—>开发工具—>grok debugger1)在kibana上使用grok正则调试格式化日志数据Grok模式:数据中第原创 2022-07-13 10:27:22 · 1183 阅读 · 0 评论 -
Logstash数据处理服务的过滤插件Filter配置详解
Filter是Logstash配置文件中的一部分,也是较为重要的一部分,主要是针对收集来的日志数据做进一步的格式化处理。过滤常用插件:json、kv、grok、geoip、date过滤插件通用配置字段:JSON插件主要用于接收json格式的日志数据,将json数据进行解析,展开成logstash的数据结构,放到日志数据的最顶层通过json插件可以将json格式的日志数据中每一个键和值单独分离出来,方便在kibana上进行数据检索。常用字段配置::指定要解析的字段,一般是日志数据内容messages字段,在这原创 2022-07-13 10:19:00 · 2029 阅读 · 0 评论 -
Logstash数据处理服务的过滤插件Grok正则匹配概念以及正则语法
收集来的日志往往都是非结构的日志,当然也可以通过配置将日志输出成结构化日志,Nginx就支持将日志输出成结构化的功能,但是很多一些开源软件是不支持将日志结构化的,针对这种需求,我们就可以使用正则将日志数据输出成功格式化数据。Grok正则插件是作用通过正则表达式将非结构的日志输出成结构化的日志,便于我们在kibana上对日志数据进行筛选。使用Grok正则匹配配置之前,需要对正则表达式有一定的基础。Grok插件自带了一些内置的正则匹配模式,将常用的一些匹配表达式(获取IP、文本字符串、请求URL、数字)写入到了原创 2022-07-13 10:22:36 · 914 阅读 · 0 评论 -
Logstash数据处理服务的输出插件Output配置参数详解
output配置字段是将收集的日志数据存输出到生存储中,一般都是elasticsearch集群。常用字段配置:ES集群每个节点的地址信息。:指定存储到ES的哪个索引库。将从file日志文件中收集来的数据存储到ES索引库中。当logstash收集到新的日志内容后会存储到ES索引库中。在kibana上关联es集群中的日志索引库,展示日志数据可视化。1)点击Stack Management—>索引模式—>创建索引模式2)输入关联es的索引名称,日志索引库每天都会生成新的,因此要采用通配符形式。3)增加一个时间戳原创 2022-07-13 10:12:51 · 2530 阅读 · 0 评论 -
Logstash数据处理服务的输入插件Input常见类型以及基本使用(五)
Logstash数据处理服务的输入插件Input常见类型以及基本使用文章目录Logstash数据处理服务的输入插件Input常见类型以及基本使用1.Input插件常用的类型2.Logstash Input常用配置参数3.Input配置File类型的输入插件3.1.经典案例3.2.File类型的常用字段4.logstash beats类型的插入插件1.Input插件常用的类型logstash的插入插件通常有stdin(用于调试)、file、redis、kafka、beats(filebeat)类型。2原创 2022-04-22 14:15:21 · 2003 阅读 · 37 评论 -
Logstash数据处理服务将采集的不同日志数据存储到不同的ES索引库(四)
Logstash将不同的日志数据存储到不同的索引库文章目录Logstash将不同的日志数据存储到不同的索引库1.如何将logstash采集的数据存储到不同的索引库2.将不同的应用程序日志写入到不同的索引库中2.1.配置logstash将日志分流2.2.产生日志数据2.3.观察是否生成索引库2.4.在kibana上关联索引模式![在这里插入图片描述](https://img-blog.csdnimg.cn/ea893af2bf84463c87e3ef12e1995a49.png?x-oss-process=原创 2022-04-16 08:49:33 · 2424 阅读 · 37 评论 -
Logstash数据处理服务的核心概念以及简单使用(三)
Logstash数据处理服务的核心概念以及简单使用文章目录Logstash数据处理服务的核心概念以及简单使用1.Logstash服务核心概念2.部署Logstash以及基本使用2.1.部署Logstash2.2.Logstash基本使用2.3.配置logstash的配置文件路径1.Logstash服务核心概念Logstash能够将采集的日志进行格式化、过滤,最后将数据推送到Elasticsearch存储中。Logstash一共分为三方面的配置:Input:日志数据的来源,可以是stdin、fi原创 2022-03-24 10:50:53 · 5172 阅读 · 35 评论 -
ELasticsearch集群核心概念以及集群搭建(二)
# ELasticsearch集群概念及部署1.Elasticsearch集群概念Elasticsearch是一个实时的分布式搜索引擎,它能让你以一个之前从未有过的速度和规模去搜索你的数据,它被用作全文检索、结构化搜索、分析以及这三个功能的组合。Elasticsearch是一个基于Apache Lucene的开源搜索引擎,无论在开源还是专有领域,Lucene可以被认为迄今为止最先进、性能最好的、功能最全的搜索引擎库,但是lucene只是一个库,想要用它,必须使用java来作为开发语言并将其直接集成到你原创 2022-03-12 09:23:56 · 1838 阅读 · 19 评论 -
ELkStack集群核心概念(一)
ELkStack集群核心概念文章目录ELkStack集群核心概念1.为什么要使用ELk Stack2.ELk Stack核心架构1.为什么要使用ELk StackELK Stack需求背景业务发展越来越庞大、服务器数量越来越多各种访问日志、应用日志、错误日志的数量越来越多开发人员排查问题、需要到服务器上查日志、效率低运维需要实时关注业务的访问情况应用程序迁移到K8S集群之后不做日志收集,那么容器重建后日志文件会丢失2.ELk Stack核心架构ELK是三个开源软件的简称,提供一套完整原创 2022-02-01 23:22:21 · 5818 阅读 · 26 评论