ELK
文章平均质量分 68
ELK相关技术
luck_man911
每个人首先都应该有自己的方向
展开
-
elasticsearch常用配置
一、关于elasticsearch的基本概念 每一个运行实例称为一个节点,每一个运行实例既可以在同一机器上,也可以在不同的机器上。 所谓运行实例,就是一个服务器进程,在测试环境中可以在一台服务器上运行多个服务器进程,在生产环境中建议每台服务器运行一个服务器进程。routing 路由,当存储一个文档的时候,他会存储在一个唯一的主分片中,具体哪个分片是通过散列值的进行选择。默认情况下,这个值是由文档的id生成。如果文档有一个指定的父文档,从父文档ID中生成,该值可以在存储文档的时候进行修改。转载 2021-03-17 18:05:04 · 1791 阅读 · 0 评论 -
有赞百亿级日志系统架构设计
一、概述日志是记录系统中各种问题信息的关键,也是一种常见的海量数据。日志平台为集团所有业务系统提供日志采集、消费、分析、存储、索引和查询的一站式日志服务。主要为了解决日志分散不方便查看、日志搜索操作复杂且效率低、业务异常无法及时发现等等问题。随着有赞业务的发展与增长,每天都会产生百亿级别的日志量(据统计,平均每秒产生 50 万条日志,峰值每秒可达 80 万条)。日志平台也随着业务的不断发展经历了多次改变和升级。本文跟大家分享有赞在当前日志系统的建设、演进以及优化的经历,这里先抛砖引玉,欢迎大家一起交转载 2021-03-16 10:07:42 · 331 阅读 · 0 评论 -
Kibana查询ES报错:[circuit_breaking_exception] [parent] Data too large
一、kibana浏览器报错{"statusCode":429,"error":"Too Many Requests","message":"[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [2047795096/1.9gb], which is larger than the limit of [2023548518/1.8gb], real usage: [2原创 2021-02-01 19:57:43 · 4417 阅读 · 0 评论 -
ELK日志排序混乱
1、现象环境使用的是7.4,filebeat,kafka,logstash,es排序字段是@timestamp,由于是filebeat批量收集提交的,所以该字段的值是一样的。而右边message中的日志没有按照log打印的时间排序,有部分时间的日志在中间,如下图2、分析@timestamp字段是经过filebeat处理时添加的,可以通过修改filebeat配置文件,把收集后的日志输出到本地文件,可以看出来多了时间字段。3、解决方案这里采用logstash重写@timesta.原创 2020-11-10 01:32:40 · 3715 阅读 · 0 评论 -
elk-可视化图标(nginx)
一、日志格式nginx的日志经过json转化,输入到elasticsearch,nginx日志格式配置如下:log_format main '{"@timestamp":"$time_iso8601",' '"trace":"$upstream_http_ctx_transaction_id",' '"log":"log",' '"remote_addr":"$remote_addr",'原创 2020-11-10 00:45:44 · 546 阅读 · 0 评论 -
elk查询nginx日志响应时间
https://www.dgstack.cn/archives/2474.html原创 2020-07-27 23:46:18 · 1584 阅读 · 0 评论 -
elk错误:Too Many Requests
{"statusCode":429,"error":"Too Many Requests","message":"[circuit_breaking_exception] [parent] Data too large, data for [<http_request>] would be [2032293344/1.8gb], which is larger than the limit of [2023548518/1.8gb], real usage: [2032293344/1.8gb.原创 2020-06-11 11:38:24 · 9320 阅读 · 0 评论 -
this cluster currently has [1946]/[1000] maximum shards open
Elasticsearch报错:this cluster currently has [1946]/[1000] maximum shards open原因:ElasticSearch 7.x 如果没有配置cluster.max_shards_per_node,默认的分片数是1000。方法:1、控制台PUT /_cluster/settings{ "transient": { "cluster": { "max_shards_per_node":...原创 2020-05-28 15:51:25 · 3217 阅读 · 0 评论 -
Elasticsearch索引自动删除
Elasticsearch索引自动删除原创 2020-05-03 15:14:12 · 3220 阅读 · 1 评论 -
Stopping filebeat
问题环境:centos 6.5 ,filebeat-7.4.0,filebeat采用解压安装,使用nohup启动问题现象:过一段时间后就会自动关闭停止,日志如下解决方案:改为yum安装filebeat ,使用service filebeat start启动...原创 2020-05-02 16:50:10 · 899 阅读 · 0 评论 -
Elasticsearch基础(五)搜索匹配
elasticsearch的两种搜索模式:exact value、full text。一、exact value(精确匹配)介绍: 比如搜索2017-01-01,使用exact value搜索的时候,必须输入2017-01-01,才能搜索出来;如果输入一个01,是搜索不出来的。二、full text(全文搜索)缩写 vs. 全程:cn vs. china,搜索cn,也可以将china搜...原创 2020-04-25 19:18:25 · 338 阅读 · 0 评论 -
Elasticsearch基础(一)mapping
elasticsearch基本(一)mapping原创 2020-05-06 00:17:19 · 121 阅读 · 0 评论 -
DB与ES混合应用之数据实时同步
一、技术背景DB与ES本质上是属于不同应用领域的数据库产品,混合应用在一起主要面临2个问题 : 同步实时性,数据在DB更新之后,需要多久才能更新到Elasticsearch,多久的时间是应用系统可以接受的范围,一般需要控制在1s以内,如果是分钟以上,那这就属于离线同步。 数据一致性,数据频繁在DB变更修改,更新到Elasticsearch之后如何保证数据与DB一致,在容许的时间...转载 2020-04-16 14:54:53 · 1389 阅读 · 0 评论 -
Elasticsearch基础(三)索引和文档操作
api种类增加修改查询删除原创 2020-04-25 22:40:49 · 2120 阅读 · 1 评论 -
es数据无法写入,报错[FORBIDDEN/12/index read-only / allow delete (api)]
环境:filebeat , kafka, logstash , elastic search ,版本7.4套件。问题:logstash写数据到es报错,如下图分析:查看了es安装目录的磁盘空间占用,已经超过92%,如下图:结论:ES说明文档中有写明,当ES数据所在目录磁盘空间使用率超过90%后,ES将修改为只读状态,所以初步判断是磁盘空间不足导致ES不允...原创 2020-04-20 00:09:54 · 1880 阅读 · 0 评论