大数据数据收集数据困难_ELK大数据日志收集平台实现敏感数据脱敏

一、场景引入

我们通过filebeat收集的日志通常没有进行敏感信息的脱敏工作，以及一些base64超长字符如果不做处理，存储到es及在kibana展示也会耗费性能。
针对这两个问题我们可以进行如下配置：

二、相关实现

1.设置超长字符截取
进入logstash安装目录，config文件夹下新建文件logstash_to_es相关配置如下：

实现步骤：

• 项目日志中定义关键字“OVERLENGTH”

 MyLog4j.textInfo("[OVERLENGTH]认证通返回的原压内容:{1},下一步进行解压,解密，解析", JsonUtil.toJson(content));

• logstash中配置相关关键字筛选，超长字符截取500长度。

filter {if [type] == "filebeat" { grok { match => [ "message","%{LOGLEVEL:level}", "message","%{DATA:message}" ] } if [level] == "DEBUG" { drop { } } if[m