ELK
文章平均质量分 62
临江仙我亦是行人
纸上得来终觉浅,绝知此事要躬行
展开
-
在k8s上部署cerebro访问集群外部署的es
在 k8s 集群中安装一个 corebro,用于查看集群外的 Elasticsearch 服务原创 2022-07-22 20:31:43 · 795 阅读 · 0 评论 -
k8s 部署 filebeat 7.10.1 和 logstash 7.10.1
k8s 部署 filebeat 7.10.1 和 logstash 7.10.1原创 2022-06-12 16:20:38 · 1009 阅读 · 0 评论 -
k8s Operator 部署 elasticsearch 7.10 + kibana + cerebro
基于 Kubernetes Operator 模式部署 elasticsearch kifana cerebro原创 2022-06-10 19:15:27 · 1227 阅读 · 0 评论 -
物理机重启后ES无法访问
master_not_discovered_exceptionnot enough master nodes discovered during pingingfailed to send join request to master原创 2022-05-03 10:54:48 · 1550 阅读 · 0 评论 -
es 错误处理(this cluster currently has [3002]/[3000] maximum shards open)
问题:ES 莫名其妙宕机查看 Elasticsearch 日志如下[2022-03-22T09:00:02,430][WARN ][o.e.x.m.e.l.LocalExporter] [aibee-devops-es03] unexpected error while indexing monitoring documentorg.elasticsearch.xpack.monitoring.exporter.ExportException: [.monitoring-es-7-2022.03.22原创 2022-04-01 08:45:17 · 3269 阅读 · 0 评论 -
解决es集群Yellow与Red的问题
1. 集群健康度分片健康,在集群中节点的状态有三种:绿色、黄色、红色红色:至少有一个主分片没有分配,表示集群无法正常工作。黄色:表示节点的运行状态为警告状态,所有的主分片目前都可以直接运行,但是至少有一个副本分片是不能正常工作的。绿色:节点运行状态为健康状态。所有的主分片、副本分片都可以正常工作。索引健康:最差的分片的状态集群健康:最差的索引的状态2. Health相关的API解释API集群的状态(检查节点数量)GET _cluster/原创 2021-10-27 14:25:07 · 3453 阅读 · 0 评论 -
elasticsearch的索引(增删改查)管理
1. 创建索引# 语法PUT /索引名/[类型名]/文档id{ 请求体}可以通过 postman 发送请求,也可以通过 kibana 发送请求,由于 kibana 有提示,所以我们选择kibana索引名不能有大写字母PUT Book{ "error" : { "root_cause" : [ { "type" : "invalid_index_name_exception", "reason" : "Invalid inde原创 2021-10-27 10:30:20 · 1262 阅读 · 0 评论 -
Elasticsearch优化的一些建议
1. 增大系统打开文件数调大系统的“最大打开文件数” ,建议32K甚至是64Kulimit -a(查看)ulimit -n 32000(设置)2. 合理设置JVM内存修改配置文件调整ES的JVM内存大小。修改jvm.options中-Xms和-Xmx的大小,建议设置一样大, 避免频繁的分配内存。 根据服务器内存大小, 一般分配50%左右(默认1g)3. 锁定物理内存设置memory_lock来锁定进程的物理内存地址,避免内存交换(swapped) 来提高性能# 修改文件vi c原创 2021-10-22 08:51:54 · 998 阅读 · 0 评论 -
Filebeat基础与入门
1 什么是 Beatshttps://www.elastic.co/cn/beats/Elastic(5.0版本之后)后面又引入了 Beats 家族。这是一系列非常轻量级的数据收集端Packetbeat: 可以实时监听网卡流量,并实时解析网络协议数据,可用来做 NPM 网络数据分析。Metricbeat: 可以用来收集服务器,以及服务器上部署的应用服务的各项监控指标数据(系统、进程和文件系统级别的CPU和内存使用情况等数据),这样就可以替代 Zabbix 等传统的监控软件,来做服务器的性原创 2021-08-29 12:04:09 · 550 阅读 · 0 评论 -
轻量级日志分析工具GoAccess
使用场景对于想在短时间内快速的生成小站点访问情况的统计数据,一般会选择使用sed、awk、grep三剑客,但是对于要对数据的展示就需要填充到已有开发面板中,比较耗时费力,当然对于也可以使用ELK/EFK专业日志分析平台来做,但搭建缓慢,服务笨重,不是小站点的首选,这里介绍一个使用C语言研发的轻量级日志分析工具GoAccess[1],性能稳定,可作为小站点日志分析统计的首选。基础功能GoAccess不仅图文并茂,而且速度快,每秒8W 的日志记录解析速度,websocket10秒刷新统计数据。GoAcc原创 2021-06-12 18:07:51 · 735 阅读 · 1 评论 -
ElasticSearch重启脚本
ES 重启脚本[@es-master1 elasticsearch]$ cat /etc/init.d/elastic #!/bin/bash##chkconfig:2345 98 14#description:Elasticsearch start/stop#. /etc/init.d/functions#Variables#Elastic-DirectoryES_HOME=/usr/local/elasticsearchEXEC_PATH=$ES_HOME# Binary原创 2021-04-30 19:57:34 · 307 阅读 · 1 评论 -
使用 docker 进行 ElasticSearch7.10 + Kibana7.10 集群搭建
在Docker容器中运行Elasticsearch Kibana和Cerebro1. 安装docker和docker compose安装docker# 安装 docker 社区版yum -y install docker-ce docker-ce-cli containerd.io# 启动 Dockersystemctl start docker# 查看 docker 版本docker version# 开机启动 Dockersystemctl enable docker安装dock原创 2021-04-09 19:48:08 · 739 阅读 · 0 评论