Elastic stack 认证：可观测性认证工程师 （ECOE, elastic certified observability engineer）overall介绍及日志采集（Filebeats）

Elastic 可观测性

elastic 可观测性 就是让你依托于简单的 elastic stack 组建帮忙采集你的日志、监控指标、存活时间、应用埋点、用户行为等信息，帮忙进行一部分的数据预处理，写入 Elasticsearch 并可以通过 Kibana 做后续的操作。在所有环境中尽可能实时的对事件进行搜索、监控、分析，比如分析某些事务里的日志、通过监控指标验证某些服务的性能、对服务进行保活等。

组件安装

1. 安装 ES、Kibana、APM（APM安装)
2. 通过 Filebeat 采集日志（log）数据（doc）
3. 通过 Metricbeat 对系统指标进行采集（doc）
4. 通过 Heartbeat 收集服务信息用来保活（doc）
5. 通过 APM Server 进行 APM 信息的采集（doc）

日志监控

在 【Observability > Logs】 查看，可以通过 query_string （Kibana 里的 query语句）对数据进行筛选。配置文件为 filebeat.yml 和 module.d/*.yml。

配置启动

1. 安装
2. 修改相关配置
   1. 输出到 ES

        output.elasticsearch:
           hosts: ["myEShost:9200"]
           username: "filebeat_internal"
           password: "YOUR_PASSWORD" 
      

   2. （可选）初始化 Kibana（如果 Kibana 和 ES 在同一集群可跳过）

        setup.kibana:
           host: "mykibanahost:5601" 
           username: "my_kibana_user"  
           password: "{pwd}"
      

   3. 对需要的模块进行配置

         - module: nginx
             access:
               var.paths: ["/var/log/nginx/access.log*"]
      

3. 开启需要的采集模块

   ./filebeat modules enble ${module1} ${module2}
   

4. 在集群中初始化采集模块相关配置

   ./filebeat setup -e
   

5. 启动 filebeat
   1. 给配置文件赋予权限

      sudo chown root filebeat.yml 
      sudo chown root modules.d/system.yml
      

   2. 启动

      sudo ./filebeat -e &
      

项目路径

目录	描述	配置 key	默认路径	deb / rpm	docker	zip, tar.gz, or tgz	brew
home	安装目录	path.home	-	/usr/share/filebeat	/usr/share/filebeat	{extract.path}	/usr/local/var/homebrew/linked/filebeat-full
bin	应用的执行目录	-	{path.home}/bin	/usr/share/filebeat/bin	/usr/share/filebeat	{extract.path}	/usr/local/var/homebrew/linked/filebeat-full/bin
config	配置文件目录	path.config	{path.home}	/etc/filebeat	/usr/share/filebeat	{extract.path}	/usr/local/etc/filebeat
data	数据目录	path.data	{path.home}/data	/var/lib/filebeat	/usr/share/filebeat/data	{extract.path}/data	/usr/local/var/lib/filebeat
logs	日志目录	path.logs	{path.home}/logs	/var/log/filebeat	/usr/share/filebeat/logs	{extract.path}/logs	/usr/local/ver/log/filebeat

常见命令

1. 帮助（help）

   ./filebeat -h
   

   ./filebeat help export
   

2. 导出（export），可以导出配置和看板等

   ./filebeat export config --es.version 7.10.2
   

   ./filebeat export dashboard --id="xx" > dashboard.json
   

3. keystore，管理密钥相关配置，doc

   ./filebeat keystore create
   

4. 模块（modules），相关配置在 modules.d 文件夹里，通过命令开启/关闭模块，doc

./filebeat modules list

./filebeat modules enable mysql