elasticsearch log日志占满磁盘的问题总结

今天在工作过程中遇到了一个问题，elasticsearch创建索引失败，我首先检查一下磁盘，发现磁盘爆满了

df -h /data

然后具体的查看是哪个文件占用过多

du -h /data

 发现是es-data目录，再继续发现

cd /data/es-data
du -h 

发现是logs目录占用最多，这个logs目录是配置给es的日志的，具体的配置为：

elasticsearch.yml文件中的path.logs参数

这个参数配置的是日志的存放目录。而log4j2.properties 用于配置elasticsearch的日志。

所以我们需要修改log4j2.properties中的相关配置，配置日志的自动清理策略

Log4j2

Elasticsearch使用Log4j2进行日志记录。可以使用 log4j2.properties 文件配置log4j2。Elasticsearch公开三个属性 ${sys:es.logs.base_path} ，${sys:es.logs.cluster_name} 以及 ${sys:es.logs.node_name} （如果明确设置node.name），可以在配置文件中引用，以确定日志文件的位置。

• ${sys:es.logs.base_path} 将解析为日志目录；
• ${sys:es.logs.cluster_name} 将解析为群集名称（默认配置中，用作日志文件名的前缀）；
• ${sys:es.logs.node_name} 将解析为节点名称（如果节点名称已显式设置）。

例如，如果您的日志目录（path.logs）是 /var/log/elasticsearch ，您的群集被命名 production；

那么 ${sys:es.logs.base_path} 将解析到 /var/log/elasticsearch ；

${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.log 将被解析到 /var/log/elasticsearch/production.log 。

1. 采用RollingFile类型的Appender

2. 把日志写到/var/log/elasticsearch/production.log

3. 归档后的日志文件的文件名格式，其中"%d{yyyy-MM-dd-HH}"用来自动填充日期

4. 基于时间进行日志的切割

5. 切割的间隔为1小时, 即每小时进行一次日志的归档

6. 修正时间范围, 从0时开始计数,日志轮换是以天作为分界（而不是相隔24小时）

 Log4j的配置解析会被无关的空格干扰; 如果您在此页面上复制并粘贴任何Log4j设置，或者输入任何的Log4j配置，请确保去掉前导和尾随空格。

如果在 appender.rolling.filePattern 中追加.gz或者.zip后缀，那么当日志轮换的时候，旧的日志将会被压缩处理。

如果要在特定时间段内保留日志文件，则可以使用带有删除操作的滚动策略。

 

1、配置 DefaultRolloverStrategy

2、配置 delete action处理回滚

3、删除哪个目录下的日志归档文件

4、回滚处理时适用的条件

5、保留日志七天

6、只删除超过7天的文件，如果它们与指定的glob匹配

7、从基路径删除和glob  ${sys:es.logs.cluster_name}-* 匹配的文件，这是日志文件滚动到的glob;只会删除滚动的Elasticsearch日志，而不会删除弃用和缓慢的日志。感觉有点不通，把原文贴出来。

    
Delete files from the base path matching the glob ${sys:es.logs.cluster_name}-*; this is the glob that log files are rolled to; this is needed to only delete the rolled Elasticsearch logs but not also delete the deprecation and slow logs

可以加载多个配置文件（在这种情况下，它们将会被合并），只要它们被命名 log4j2.properties 并存放在Elasticsearch config目录下（只要它的祖先是此目录就行）; 这对于插件记录日志很有用。

 logger  部分包含java包及其对应的日志级别。 appender 部分包含日志的储存位置。在Log4j documentation中可以找到有关如何自定义日志记录和 appender 的相关信息。

弃用日志

除了常规日志记录功能之外，Elasticsearch还允许您启用对已弃用的日志记录。例如，如果将来需要迁移某些功能，则可以提前确定。默认情况下，在WARN级别（在此级别，所有弃用日志消息都会被输出）启用弃用日志记录。

logger.deprecation.level = warn

这将在您的日志目录中创建每日滚动弃用日志文件。定期检查这个文件，特别是当你打算升级到一个新的主要版本。

默认日志记录配置已将弃用日志的滚动策略设置为1 GB后滚动和压缩，并保留最多五个日志文件（4个轮换日志，一个在用的日志）。通过在 config/log4j2.properties 文件中将弃用日志级别设置为error，就可以禁用它。

ES配置文件之日志-log4j2.properties

https://blog.csdn.net/qingmou_csdn/article/details/105917497

Elasticsearch配置详解

https://blog.csdn.net/mythest/article/details/88560972

Elasticsearch 日志配置详解

https://www.cnblogs.com/cocowool/p/elasticsearch-log-config.html