七路灯

问题现场查看系统内存的使用状态=监控报警可用内存空间不足，常规的解决方案如下：增加内存（增加成本）增加虚拟内存（影响性能）定期清理缓存（echo 1 > /proc/sys/vm/drop_caches）本文将介绍定期清除页面缓存，但是过会儿内存又被占满问题的分析。问题分析通过监控系统负载情况（vmstat 1），确定是页面缓存（cache项）占用量大，并且释放页面缓存后从块设备读入数据量（bi项）会马上增加。通过监控io情况（iostat -x -k 1）也可以看出

目录OOM killerOvercommit（过量使用）参数调优OVERCOMMIT策略的可用内存判定相关命令参考OOM killerOOM killer(Out Of Memory killer)是Linux内核的一种内存管理机制，该机制在系统物理内存不足时，选择性（oom_killer遍历当前所有进程，根据进程的内存使用情况进行打分，然后从中选择一个分数最高的进程）杀死一些进程以释放内存，以使系统继续运行。Overcommit（过量使用）这个特性出于优化系统考虑，因为进程实际使用到的内存往往比申

目录报错说明解决步骤参考报错说明官网安装ElastAlert，发送报警，报错如下：ERROR:root:Traceback (most recent call last):File "/opt/pyenv/versions/elastalert_360/lib/python3.6/site-packages/elastalert-0.2.1-py3.6.egg/elastalert/elastalert.py", line 1451, in alertreturn self.send_alert(

本文仅供学习和参考事务http://www.cnblogs.com/jackal/archive/2011/02/14/1954231.html目录：1、原则2、隔离级别3、隔离级别所允许的并发问题1、原则原子性（Atomic），一致性（Consistency），隔离性（Isolation），持久性（Durability）

分布式与集群的联系和区别分布式强调的同一个业务被分拆成不同的子业务，被部署在不同的服务器上（可能是性能的问题，也可能是安全的问题，也可能是模块对服务器的需求不同的问题将业务进行分解），服务器可以跨域也可以同域。而集群偏重平行处理，一台服务器不能提供足够的能力，而采用多台服务器并行处理一个问题。共同点：都是为了提升单位时间内工作效率分布式是指将

介绍业务规模和架构选择，以及部署说明和实践配置。基于7.11版本。目录业务规模架构选择部署说明&实践配置新建用户和修改文件夹权限修改系统配置ElasticsearchKibanaLogstashFilebeat业务规模业务每天查询量在千万级，采集数据的规模上亿（后续会更大）。单台Logstash，数据延迟并不大，肉眼可见的Logstash的数据处理能力架构选择ELK架构有很多种，这里简单列出常用的几个：架构1（最为简单）Logstash -> Elasticsearch.

介绍Elasticsearch节点之间的加密通信、浏览器与Kibana之间的加密通信、Kibana与Elasticsearch之间的加密通信、操作步骤和配置说明。基于7.11。目录1 Elasticsearch加密通信1.1 Elasticsearch节点之间的加密通信1.2 HTTP客户端的加密通信2 Kibana通信加密2.1 浏览器与Kibana之间的加密通信2.2 Kibana与Elasticsearch之间的加密通信3 操作步骤4 参数配置1 Elasticsearch加密通信Elas.

Kibana是一个开源分析和可视化平台，旨在与Elasticsearch协同工作。您使用Kibana搜索，查看和与存储在Elasticsearch索引中的数据进行交互。您可以轻松执行高级数据分析，并在各种图表，表格和地图中可视化您的数据。https://www.elastic.co/guide/en/kibana/7.11/index.html目录侧边栏Dashboard（仪表板）面板类型Alerts and Actions（监控警报）Graph（图形分析）Kibana通信加密加密浏览器与Kiban.

介绍Filebeat命令、配置以及最佳实战。基于7.11版本。目录命令配置说明 filebeat.yml最佳实践调优命令export：导出配置到标准输出（configuration, index template, ILM policy, dashboard）keystore：管理秘钥仓库modules：管理模块配置run：运行Filebeat。不知道命令的情况下，默认使用此命令–modules MODULE_LIST：指定运行的模块setup：一次性初始化环境。包括索引模板，.

Filebeat介绍，包括工作方式、模块、如何避免数据重复、处理器的速查表。基于7.11版本。Beats是一款轻量级数据采集器，你可以将它作为代理程序安装在你的服务器上，然后将操作数据发送到 Elasticsearch。可以直接发送数据到 Elasticsearch 或者通过 Logstash，在那里你可以进一步处理和增强数据。Filebeat（日志文件）Metricbeat（指标）Heartbeat（可用性监控）Functionbeat（函数计算采集器）FilebeatFile.

文本分析使Elasticsearch能够执行全文搜索，其中搜索返回所有相关结果，而不仅仅是精确匹配。文本通过标记化（tokenization）使全文搜索成为可能，将文本分解为标记的更小块。在大多数情况下，这些标记是单个单词。目录概念内置解析器概念分析器（无论是内置的还是自定义的）只是一个包，其中包含三个较低级别的构建块：字符过滤器（character filters），标记生成器（tokenizers）和标记过滤器（token filters）。索引和搜索分析器：文本分析发生在两次时间，索引时

Elasticsearch安全特性，介绍加密通讯的基本原理、开启安全特性的操作步骤、如何生成节点证书、用户认证和相关概念等。基于7.11版本。目录安全特性1 加密通讯1.1 加密集群中节点之间的通信1.2 加密HTTP客户端通信1.3 生成节点证书2 用户认证3 相关概念4 参考文档安全特性Elastic Stack安全功能使您可以轻松保护集群。Elasticsearch集群保护方式：通过密码保护，基于角色的访问控制和IP过滤防止未经授权的访问。使用SSL/TLS加密保留数据的完整性。.

Elasticsearch聚合速查表，介绍指标聚合、桶分聚合、管道聚合的分类和聚合示例。基于7.11版本。目录聚合分类BucketMetricPipeline示例聚合将数据汇总为指标, 统计, 或其他分析。聚合分类Metric：指标聚合，从文档字段值中计算指标，如总和、平均值等Bucket：桶分聚合，根据字段值、范围或其他条件将文档分组为桶Pipeline：管道聚合，从其他的聚合结果作为输入BucketAdjacency matrix：邻接矩阵，获取矩阵每个组的计数Auto-i.

Elasticsearch介绍查询搜索请求包含哪些选项，并介绍其中的Query DSL。包括语法说明、查询和过滤上下文、复合查询等和查询示例。基于7.11版本。搜索请求是对Elasticsearch数据流或索引中的数据信息的请求，包括以下自定义选项：Query DSL（查询语法）Aggregations（分组聚合）Search multiple data streams and indices（多数据流和索引搜索）Paginate search results（分页查询）Retrieve.

Elasticsearch索引介绍，包括索引设置、索引模板、索引生命周期管理、翻滚索引。基于7.11版本。目录索引设置（Index Settings）staticdynamic索引模板（Index Templates）索引生命周期管理（Index Lifecycle Manager - ILM）索引生命周期（Index lifecycle）阶段转换（phase transitions）阶段执行（phase execution）阶段动作（phase actions）索引生命周期动作（Index Lif.

目录动态映射（Dynamic mapping）显式映射（Explicit mapping）字段数据类型（Field data types）映射参数（Mapping parameters）映射限制设置（mapping limit settings）映射（Mapping）是定义文档及其包含的字段如何存储和索引的过程。每个文档都是字段的集合，每个字段都有自己的数据类型。为数据创建一个映射定义，包含与文档相关的字段列表。索引中定义太多字段会导致映射爆炸，从而导致内存不足错误和难以恢复的情况。在动态映射中，如果

Elasticsearch是一个分布式搜索和分析引擎，为所有类型的数据提供了近实时的搜索和分析。不仅可以进行简单的数据探索，还可以汇总信息来发现数据中的趋势和模式。随着数据和查询量的增长，分布式特性可以使部署顺畅的无缝的增长。目录1. 文档和索引文档（Document）索引（Index）倒排索引（inverted index）2. 搜索和分析搜索（Search）分析（Analyze）3. 可伸缩和弹性集群（Cluster）节点（Node）分片（Shard）跨集群复制（Cross-cluster repli

Logstash配置介绍、插件说明、配置说明、高级配置、命令说明基于7.11版本。https目录一、配置Logstash1. 在配置中访问事件数据和字段引用事件数据和字段sprintf格式化条件@metadata字段二、插件说明Input pluginsFilter pluginsOutput plugins三、配置说明logstash.yml四、高级配置1. 多管道配置（multiple pipelines configuration）2. 管道到管道的通信（pipeline-to-pipeline

目录介绍如何工作inputs（输入阶段）filters（过滤器阶段）outputs（输出阶段）Codecs（解码器）1. 工作原理2. 事件顺序Logstash 模块弹性数据持久队列工作原理页检查点死信队列工作原理部署和扩展Beats to ElasticsearchBeats and Logstash to

目录问题1（Connection prematurely closed BEFORE response）问题2（浪涌导致网关报错分析）问题1（Connection prematurely closed BEFORE response）后端服务偶尔报错Connection prematurely closed BEFORE response。这个问题的产生原因和解决办法网上很容易找到。我这里只贴出问题原理图和解决办法。详细说明请参考https://javazhiyin.blog.csdn.net/ar

目录问题背景分析过程优化思路问题背景机器负载截图：进程截图：启动参数：java -jar -Xms2048m -Xmx4096m -Xss256k -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=4096m -XX:NewSize=1920m -XX:MaxNewSize=4096m -XX:SurvivorRatio=6 -XX:+UseParNewGC -XX:ParallelGCThreads=8 -XX:MaxTenuringThreshold=

spring cloud gateway [DataBufferLimitException: Exceeded limit on max bytes to buffer : 262144]问题背景分析过程解决办法问题背景线上环境spring cloud gateway偶尔遇到如下异常：DataBufferLimitException: Exceeded limit on max bytes to buffer : 262144问题的产生原因很容易查到，REST API接口请求数据超过256K，被网