日志归集-EFK组件的使用

日志归集-EFK组件

工具简介

EFK是一套分布式日志服务解决方案，由各个组件构成。EFK分别是指：elasticsearch+filebeat+kibanna。
 

术语/定义	说明
elasticsearch	用于filebeat采集完的日志创建索引进行存储
Filebeat	以sidecar的方式部署在coordinator的pod和warehouse的每个计算节点pod中，提供日志采集能力
Kibana	elasticsearch的界面工具，提供检索日志能力，支持按关键字对日志进行检索和展示

整体架构




GCDW配置文件（values.yaml）

enabled:true：日志归集功能的开关
filebeatImage:k8s云仓中filebeat的路径地址
output.elasticsearch:标记出es服务安装IP:端口号（默认为9200）
username：登录elasticsearch的用户名
password：登录elasticsearch的密码
index：在elasticsearch生成索引的式样

filebeat配置文件

参数详解
paths：标记出各个日志存放的路径（目前不支持递归采集）
enabled:true：启用手工配置filebeat，而不是采用模块方式配置filebeat。启动后才能使用我们指定的模块。否则使用filbeat默认的模块。
pattern：匹配多行的正则表达式
max_lines：合并的最多行数（包含匹配的pattern的那一行），默认值为500行
注意事项
由于K8S版云数仓自带filebeat，在k8s中修改配置文件有所不同，见下列说明。
GCDW安装完后，filebeat参数修改方式：kubectl get cm -n namespace #三个filebeat开头的服务；kubectl edit cm filebeat-config-coordinator -n namespace修改完一分钟后生效。

elasticsearch启动注意事项
1、需要创建普通用户
注意：ES不能使用root用户来启动，必须使用普通用户来安装启动。


2、解除打开文件数据的限制
注意：ES因为需要大量的创建索引文件，需要大量的打开系统的文件，所以我们需要解除Linux系统当中打开文件最大数目的限制，不然ES启动会抛错
执行 sudo vi/etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096

3、修改JVM内存大小报错
[gbase@chenzhaohua-node-0 bin]$ sh elasticsearch warning: ignoring JAVA_HOME=/usr/jdk; using bundled JDK ERROR: encountered [2] errors parsing [/opt/ELK/elasticsearch-8.5.1/config/jvm.options] [1]: encountered improperly formatted JVM option in [/opt/ELK/elasticsearch-8.5.1/config/jvm.options] on line number [32]: [ -Xms6g] [2]: encountered improperly formatted JVM option in [/opt/ELK/elasticsearch-8.5.1/config/jvm.options] on line number [33]: [ -Xmx6g] 
注意：elasticsearch官方建议修改jvm大小是主机总内存的一版，请查询配置后谨慎修改。

kibana操作示例
kibana使用方式

    1）浏览器登录http://kibana服务安装IP:5601/。尽量使用谷歌浏览器。

    2）浏览

        点击主界面左上角【默】进入Stack Management

      →点击左侧导航栏【数据视图】

      →点击数据视图界面右上角【创建数据视图】，填写【名称】、【索引模式】，点击【保存数据视图到Kibana】

      →点击数据视图界面左上角【≡】，点击【Discover】进入日志信息归集界面

      →点击归集界面左上角【ALL】，选择新创建的数据视图

    3）字段选择

        当前界面左侧可以选定页面展示的字段，光标放置在字段名上，右侧可选添加或删除，左侧点击可选字段中的内容出现频率

    4）检索

        界面顶部可使用KQL语法检索

        界面右上可选时间戳与时间段

    5）所选日志内容导出

        界面右上点击【共享】→【CSV报告】→【生成CSV】，点击界面左上角【默】进入Stack Management，点击【Reporting】,点击【↓】
 

kibana常用可配置项

1、kibana导出文件的最大行宽，超过宽度的行会被跳过（默认500）

2、kibana导出excle的文件大小（默认为10m），增加参数xpack.reporting.csv.maxSizeBytes（经过测试上限最大可导出64m的）。