elasticsearch
文章平均质量分 50
baalchina
这个作者很懒,什么都没留下…
展开
-
使用Filebeat收集并分析nginx的访问日志
之前我们已经搞定了nginx+keepalived双机,花了一个多星期时间把业务都迁移过来之后,基本稳定,中间还遇到一次意外宕机,keepalived也顺利做了主备切换,接下来就要做日志分析了。日志分析,本身从等保的要求就是需要日志第三方存储的,另外就是日志也是分析访问量的一个重要依据,比如网站访问量、比如从错误日志中分析数据,等等。原创 2023-01-19 16:01:23 · 1832 阅读 · 0 评论 -
调整elasticsearch的jvm heap值
集群里有两台elasticsearch老是服务死机,报错大致如下:Mar 26 08:19:47 es104 systemd[1]: Started Elasticsearch.Mar 27 09:53:26 es104 systemd-entrypoint[8614]: [92045.788s][warning][gc,alloc] elasticsearch[nau-node-104][[syslog-fw-unicom-nat-20220327][0]: Lucene Merge Thread原创 2022-03-27 16:20:58 · 2874 阅读 · 0 评论 -
冷热分层的elasticsearch架构下,分片无法分配到warm节点
问题现象昨天给es集群新增了warm节点,在elasticsearch.yml中配置如下node.roles: [data, data_warm]但是今天发现集群yellow,有个分片无法分配,通过GET /_cluster/allocation/explain可以看到报错如下:问题分析ps,实际上每个节点都有这个报错,我截取的是warm节点的内容。折腾半天,才发现具体原因。首先是因为我之前测试冷热分层的时候,使用的是腾讯云的文档腾讯云的文档,文档里的做法是:给节点增加一个属性,比如no原创 2022-01-30 22:07:51 · 1206 阅读 · 0 评论 -
Windows下logstash安装插件提示“No `java.exe‘ executable found on PATH.”
Windows下的logstash,运行bin/logstash正常执行都OK,但安装插件的时候就提示这个:e:\logstash-7.16.0-windows-x86_64\logstash-7.16.0\bin>logstash-plugin install logstash-output-elasticsearch"Using bundled JDK: ."No `java.exe' executable found on PATH.而很显然java.exe是在的。解决办法原创 2022-01-28 00:05:15 · 2913 阅读 · 0 评论 -
使用logstash接收syslog,针对同一端口区分不同索引
概述之前已经实现了syslog到logstash到elasticsearch的一个syslog收集过程。但是有个问题一直困扰我,就是有些设备因为比较老,不支持将syslog送到不同的端口,所以他们的日志在kibana里就很难区分,也就不太好针对性的去做解析了。折腾了一下午,google无数+es论坛的帮助,基本解决了这个问题。解决方法大致的思路还是在logstash上做文章。我们知道,logstash的配置文件分为三个部分,即input、filter和output。首先在input这里,参数如下。原创 2022-01-23 23:39:14 · 3117 阅读 · 0 评论 -
elasticsearch节点版本不一致造成分片黄色
昨天在es集群上增加了一台Linux节点(之前都是Windows),Windows的版本是7.16.0,Linux的版本是7.16.2,之前记得在哪看到说小版本是不影响的,也没太在意。昨天运行一切正常。然后今天早上进集群一看,发现集群变黄色了,提示有几个Shade不正常,而且都是今天新建的Shade。到开发工具里,使用GET /_cluster/allocation/explain查看,发现居然是版本问题cannot allocate replica shard to a n原创 2021-12-22 10:45:07 · 8561 阅读 · 0 评论 -
使用elasticsearch保存h3c防火墙的nat日志
title: 使用ES解析H3C防火墙的NAT444日志tags: 新建,模板,小书匠renderNumberedHeading: truegrammar_cjkRuby: true其实第一篇应该写ELK的安装配置的,不过搞定了NAT日志,心情不错,把它记录下来。目标众所周知,NAT日志是校园网日志重要的一个部分由于出口绝大多数高校都是NAT,那么作为日志留存,我们就必须能够记录下具体的端口号、公网IP等。方式搭建ELK集群这个不多说了,后面有空详细写。我们的流程是:H3C防火墙.原创 2022-01-02 23:05:35 · 2872 阅读 · 1 评论