EFKL初体验【小白专用】

为什么用EFKL

EFKL是elasticsearch，filebeat，kibana，logstash的组合缩写，此组合方案中，filebeat作为采集器进行对数据的采集，logstash作为数据处理器进行对数据的过滤分流处理，elasticsearch作为搜索引擎工具进行对相关的数据建立索引，kibana作为数据显示工具，可对数据进行精加工后以图表的形式展示。
本实验的建立的背景是，由于日志放在服务器上，原始查看日志的方式是手动地通过登录服务器去查看日志，只能根据关键字通过人眼过滤，面对日志内容较大的情况则是十分考验眼力和耐力的，效率也不会高。当今需要的是效率，需要的是持续交付，运维也是持续交付的重要的一部分，人力应该放到更有价值的岗位做更有价值的事情，此时建立日志系统就显得很重要了。日志系统的建立可以分担很大部分运维同事的工作压力，能让运维同事或开发同事更快地定位问题，使解决问题的成本大大降低。
日志系统建立了，在小型企业中，运维同事就1-2人，能拥有日志系统所有的权限，只要能解决问题就行。在大型企业中，运维就是一个部门了，不能将管理日志系统的重任压到一个人肩上，此时就需要权限分配的功能了。如果在企业中有多套系统，其中就可能涉及财务系统，而财务的敏感数据可能在日志中是有记录的，但在大企业中，这样的信息是不能让运维同事知晓的，这就需要日志系统有脱敏的功能。本实验基于解决上述两个问题从零搭建EFKL服务，助于把控好日志的管控和监管的同时减轻运维同事的工作负担。

准备工作

1. 实验材料：Windows系统，Elasticsearch 7.5.1，Kibana 7.5.1，Filebeat 7.5.1，Logstash 7.5.1，jdk 13.0.2
2. 下载软件地址：
   i. Elasticsearch 7.5.1：Elasticsearch下载页面
   ii. Kibana 7.5.1：Kibana下载页面
   iii. Filebeat 7.5.1：Filebeat下载页面
   iiii. Logstash 7.5.1：Logstash下载页面
   iiii. jdk 13.0.2：JDK下载页面
3. 解压缩到本地环境：
   

配置工作

配置前奏：

由于实验环境已经有一个系统全局变量JDK1.7了，而EFKL 7.5.1的部署需要11及以上的JDK，需要对EFKL的启动环境配置文件单独配置JDK13的地址。

1. 配置Logstash的JDK地址：环境配置文件 D:\software\elasticsearch\elastic751\logstash-7.5.1\bin\setup.bat，编辑此文件，找到下图红框处添加JDK13的变量。
   
2. 配置Elasticsearch的JDK地址：环境配置文件 D:\software\elasticsearch\elastic751\elasticsearch-7.5.1\bin\elasticsearch-env.bat，编辑此文件，找到下图红框处添加JDK13的变量。
   

配置高潮：

配置Filebeat：

Filebeat在此实验中用于从日志文件中抓取数据，只需配置filebeat.yml文件，filebeat.yml文件地址 D:\software\elasticsearch\elastic751\filebeat-7.5.1-windows-x86_64\filebeat.yml，因为此实验Filebeat用于从日志文件抓取信息后再推送到Logstash，只需修改两个地方，一个输入的配置，一个输出的配置。官方配置说明传送门：Filebeat配置
输入，输出的配置如下，paths为日志文件的所在路径，hosts为logstash的地址和端口。

- type: log
  enabled: true
  paths:
    - D:\software\tomcat\apache-tomcat-7.0.56\log\filebeat-*.json.log
  json.keys_under_root: true
  json.overwrite_keys: true

output.logstash:
  hosts: ["localhost:5044"]

配置Logstash：

Logstash在此实验中用于处理数据，包括：根据条件过滤，根据不同条件将单一数据流拆分成多个索引，根据正则表达式对数据进行脱敏处理。首先要配置的是Logstash的输入和输出。

1. 从Logstash的配置模板文件夹中复制一份Logstash的配置文件放到bin文件夹，配置模板文件所在路径为：D:\software\elasticsearch\elastic751\logstash-7.5.1\config\logstash-sample.conf
2. 设置输入，输出，过滤器，此实验的输入为Filebeat，输入监听的端口则为Filebeat中配置的输出端口5044，过滤器采用通过外挂Ruby实现，需要配置ruby脚本的地址path，和传入到ruby处理函数的参数script_params，输出为elasticsearch，此实验根据消息的级别WARN和ERROR分成两类索引信息推送到elasticsearch。官方配置说明传送门：Logstash配置，Logstash中Ruby过滤器配置说明传送门：Ruby Filter配置

input {
  beats {
    port => 5044
  }
}
filter {
  ruby {
	  path => "D:\software\elasticsearch\elastic751\logstash-7.5.1\bin\spfilter.rb"
	  script_params => {"message" => "message"}
  }
}
output {
  if [level] == "WARN" {  
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "warnlog-%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
      user => "elastic"
      password => "123456"
    }
  }else if [level] == "ERROR" {
    elasticsearch {
      hosts => ["http://localhost:9200"]
      index => "errorlog-%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}"
      user => "elastic"
      password => "123456"
    }
  }
  #stdout { codec => rubydebug }
}

3. 编写Ruby脚本，此实验Ruby的脚本为spfilter.rb，实现效果为根据正则表达式将敏感信息进行替换。register方法中参数params即为Logstash配置文件中filter中配置的script_params，filter方法中的event是logstash的特有参数，Logstash Event介绍传送门：Logstash Event介绍，Ruby菜鸟教程传送门：Ruby菜鸟教程，

def register(params)
      @message = params["message"]
end

def filter(event)
      msg = event.get("message")
	  if (msg =~ /(.*)The current request parameters:(.*) do not exist(.*)/)
	    parExp = /(.*)The current request parameters:(.*) do not exist(.*)/
	    parExp =~ msg
	    parInfo = $2
	    msg.gsub!(parInfo, "************")
	  end
	  event.set("message",msg)
	  return [event]
end

配置Elasticsearch

Elasticsearch在此实验中用于建立全文索引，存储数据。因为此实验需要根据人员角色的不同设置不同的日志权限。因此Elasticsearch需要开启身份校验，如果不开启Elasticsearch的身份校验，Kibana中的Security功能就不会显示出来。

1. 此实验的Elasticsearch基本配置即配置地址和端口号等基本信息，参考配置如下：

cluster.name: my-application
node.name: node-1
network.host: 0.0.0.0
http.port: 9200
cluster.initial_master_nodes: ["node-1"]
cluster.routing.allocation.disk.threshold_enabled: false
http.cors.enabled: true
http.cors.allow-origin: "*"
node.master: true
node.data: true
xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.authc.accept_default_password: false

2. 如需要进行Elasticsearch身份验证则需进行相关的Elasticsearch Security配置，Elasticsearch身份校验传送门：Elasticsearch Security配置

xpack.security.enabled: true
xpack.security.transport.ssl.enabled: true
xpack.security.authc.accept_default_password: false

3. 配置完成后需要启动Elasticsearch通过命令行的形式给Elasticsearch的所有内置用户设置密码。

bin/elasticsearch-setup-passwords interactive

配置Kibana

Kibana在此实验中用于展示Elasticsearch处理的数据，需要的配置的信息为浏览器访问Kibana的地址和端口，Kibana访问Elasticsearch的地址，Kibana的用户安全认证，Kibana安全认证传送门：Kibana安全认证配置

1. 配置浏览器访问Kibana的地址和端口号。

server.port: 5601
server.host: "127.0.0.1"

2. 配置访问Elasticsearch的相关信息。

elasticsearch.hosts: ["http://localhost:9200"]
elasticsearch.username: "kibana"
elasticsearch.password: "123456"

3. 配置Kibana的安全认证。

xpack.security.encryptionKey: "something_at_least_32_characters"

具体操作

配置工作完成后，便可以逐步运行EFKL。

启动EFKL

1. 启动Filebeat

filebeat -e -c filebeat.yml

2. 启动Logstash

logstash -f logstash.conf

3. 启动Elasticsearch

elasticsearch.bat

4. 启动Kibana

kibana.bat

成果演示

1. 如果都启动成功后，打开浏览器输入在Kibana配置文件中配置的访问地址和端口即可打开Kibana界面。
   
2. 登录用户名为elastic，密码为在Elasticsearch身份认证配置阶段通过命令行的形式设置的密码。成功登录后界面如下。
   
3. 不同的用户设置角色及索引的权限的功能模块如下图，用户角色权限配置传送门：用户角色权限配置
   
4. 如果Filebeat，logstash，elasticsearch运行正常，会在索引管理界面自动检测到如下索引。
   
5. 此时可配置在Kibana模块中的Index Pattern配置对应的索引样式。
   
6. 最后进入查看模块就能查看到对应的日志数据了。完结撒花！！！