ELK
文章平均质量分 76
Mumunu-
这个作者很懒,什么都没留下…
展开
-
深入理解Kafka3.6.0的核心概念,搭建与使用
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、Storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写,kafka部署包“kafka_2.13-3.6.0”前面的2.13就是scala的版本。原创 2023-11-13 16:33:52 · 2193 阅读 · 0 评论 -
ElasticSearch读写底层原理及性能调优
有很多场景是,我们的 ES 集群占用了多大的 cpu 使用率,该如何调节呢。cpu 使用率高,有可能是写入导致的,也有可能是查询导致的,那要怎么查看呢?可以先通过 GET _nodes/{node}/hot_threads 查看线程栈,查看是哪个线程占用 cpu 高,如果是 elasticsearch[{node}][search][T#10] 则是查询导致的,如果是 elasticsearch[{node}][bulk][T#1] 则是数据写入导致的。...原创 2022-08-17 18:41:38 · 275 阅读 · 0 评论 -
Es maximum shards open 报错
今天发现kibana的dashboard中没有filebeat收集的日志消息了,去看filebeat的服务发现并未停止,查看log后发现如下问题:Validation Failed: 1: this action would add [2] total shards, but this cluster currently has [1001]/[1000] maximum shards open。排查后发现是es的分片数超出了数量,调大分片数PUT /_cluster/settings{ "原创 2021-02-03 17:47:52 · 611 阅读 · 0 评论 -
简单配置一个基于Elasticsearch的报警Elastalert
首先需要配置好ELastic Stack的完整安全方案https://blog.csdn.net/h952520296/article/details/112008365然后新建一个告警几个解释的地方选择索引那里第三个范围选all 就行其他的就是字面意思 无坑非付费版啥也干不了 。。只能打日志或者打index 浅尝了一下就没研究了 条件还是比较好配的 ,我要是有钱多好...原创 2020-12-31 15:52:28 · 802 阅读 · 0 评论 -
kibana启动时warning警告信息的解决办法
启动kibana时会有几个warning信息,具体如下:针对xpack这几个相关的,在kibana.yml文件中新增如下三个配置即可:# 注意:参数值至少32位,否则启动会报错提示xpack.encryptedSavedObjects.encryptionKey: encryptedSavedObjects12345678909876543210xpack.security.encryptionKey: encryptionKeysecurity1234567890987654321.原创 2020-12-31 15:44:17 · 9176 阅读 · 0 评论 -
elasticsearch 运维中遇到的问题
[2020-12-22T16:28:07,485][INFO ][logstash.outputs.elasticsearch][main][7a9bd902efcf008d8e54ca5c1eae1bb97fe2712e0be94b53b9e2a59022ef3172] retrying failed action with response code: 503 ({"type"=>"unavailable_shards_exception", "reason"=>"[log-app-tclo原创 2020-12-22 16:40:39 · 5972 阅读 · 1 评论 -
Kibana制作访问热点图
接上篇博客 收集数据之后我们需要展示出来制作一个这样的图需要配置啥呢首先选好之前配置的index 然后选择集群和网格 默认添加图层即可计数这里填 web logs count 按访问次数 计数这里选择地图的精细程度 精确到 省份 城市 什么的这里配置图上小圆圈的颜色深淡 也可以选择没有区别这里配置圆圈是否会跟着访问数量变化把这配成按值这里配置上面字的大小 这里按需求 可以按值也可固定其他都是一些格式上的东西 随便点点就可以了...原创 2020-09-11 17:06:41 · 350 阅读 · 0 评论 -
ELK7.x 收集nginx日志支持地图显示Kibana 地标图可视化
一 下载geoip官网 地址 https://dev.maxmind.com/geoip/geoip2/geolite2/我下的是这个包 GeoLite2-City 不知道别的有什么区别 下载 然后解压到 /usr/share/logstash/ 这个目录yum install geoipupdate vim /etc/GeoIP.conf添加ProductIds GeoLite2-Cityll /usr/share/GeoIP二 更改nginx配置文件,设置nginx日志原创 2020-09-11 10:20:39 · 1254 阅读 · 0 评论 -
filebeat运维中遇到的问题
他的含义,就是这文件已被删除,但打开文件的句柄,并未关闭,再看COMMAND的名称是filebeat,USER进程所有者是app,这是我们的日志采集进程,app用户开启了filebeat进程。此时filebeat正在打开着的一些文件,于是这些文件,就变为了未释放的文件,因此实际文件删除了,但空间未被释放。这是因为系统在后台,为每个应用程序,分配了一个文件描述符,他为应用程序和操作系统之间的交互操作提供了通用的接口,既然是文件,就会占用空间,此时可以使用lsof指令,他可以列出,当前系统正在打开的文件。原创 2019-01-21 15:50:20 · 2362 阅读 · 1 评论 -
Elasticsearch 参考指南(配置Elasticsearch)
配置ElasticsearchElasticsearch引擎具有良好的默认值,并且只需要很少的配置,可以使用集群更新设置API在运行的集群上更改大多数设置。配置文件应该包含特定于节点的设置(例如node.name和路径),或节点为加入集群所需的设置,比如cluster.name和network.host。配置文件位置Elasticsearch有三个配置文件:elasticsea...原创 2018-12-20 17:16:10 · 2263 阅读 · 0 评论 -
logstash mutate split日志切分
2015-06-15 10:58:23通过logstash可以将日志过滤(即取到http_request值,如下)42.62.45.23 - - [15/Jun/2015:10:27:33 +0800] "GET /www/delivery/aj.php?id=29 HTTP/1.1" 200 10309 "-" "-" "10.72.16.60:80" 0.111 72.62.4...原创 2018-12-20 17:14:14 · 6973 阅读 · 1 评论 -
Elasticsearch 堆内存浅析
1、什么是堆内存?Java 中的堆是 JVM 所管理的最大的一块内存空间,主要用于存放各种类的实例对象。 在 Java 中,堆被划分成两个不同的区域: - 新生代 ( Young )、 - 老年代 ( Old )。新生代 ( Young ) 又被划分为三个区域 : - Eden、 - From Survivor、 - To Survivor。这样划分的目的是为了使 JVM ...原创 2018-12-05 10:29:21 · 640 阅读 · 0 评论 -
Elasticsearch慢查询分析
每当我们得到这些类型的问题时,我们首先要深入研究两个主要方面: 配置维度 - 查看当前系统资源和默认Elasticsearch选项。 开发维度 - 查看查询,其结构以及要搜索的数据的映射(Mapping)。 我们将首先关注开发方面的问题。 我们将获得慢查询,讨论DSL查询语言,并查看有助于改进Elasticsearch查询的小型常规选项。2、开发维度—你的查询有多慢?第...原创 2018-11-20 15:59:40 · 5986 阅读 · 0 评论