ELK学习笔记：2- filebeat日志收集配置举例&metricbeat系统性能指标收集举例-2023-2-9

1- 日志收集

单日志 message

vim /etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
output.elasticsearch:
  hosts: ["http://192.168.174.132:9200"]
  index: "test-%{+yyyy.MM.dd}"

# 设置索引模板名称
setup.template.name: "test"
# 设置索引模板的匹配模式
setup.template.pattern: "test-*"
# 关闭生命周期索引
setup.ilm.enabled: false
# 覆盖已有的模板
setup.template.overwrite: true
# 配置索引模板
setup.template.settings:
  # 分片数量
  index.number_of_shards: 3
  # 副本数量 小于集群数量  该主节点本身是不存的
  index.number_of_replicas: 0

多日志 messages & gc

vim /etc/filebeat/filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/messages
  tags: ["test-messages"]
- type: log
  enabled: true
  paths:
    - /var/log/elasticsearch/gc.log
  tags: ["test-gc"]
output.elasticsearch:
output.elasticsearch:
  hosts: ["http://192.168.174.132:9200"]
  indices:
    - index: "test-messages-%{+yyyy.MM.dd}"
      # 匹配字段包含的内容
      when.contains:
        tags: "test-messages"
    - index: "test-gc-%{+yyyy.MM.dd}"
      when.contains:
        tags: "test-gc"

# 设置索引模板名称
setup.template.name: "test"
# 设置索引模板的匹配模式
setup.template.pattern: "test-*"
# 关闭生命周期索引
setup.ilm.enabled: false
# 覆盖已有的模板
setup.template.overwrite: true
# 配置索引模板
setup.template.settings:
  # 分片数量
  index.number_of_shards: 3
  # 副本数量 小于集群数量  该主节点本身是不存的
  index.number_of_replicas: 0

filebeat -e -c /etc/filebeat/filebeat.yml

---

2- metricbaet部署

• metricbaet收集系统性能指标为例

0、设置密码

# 按照kibana提示

# 1- 要对 Elastic 代理使用集中管理，请启用下面的 Elasticsearch 安全功能
vim /etc/elasticsearch/elasticsearch.yml
=========添加==========
xpack.security.enabled: true
xpack.security.authc.api_key.enabled: true
xpack.security.transport.ssl.enabled: true

# 2- 设置密码
cd /usr/share/elasticsearch/bin/
# 这一步需要输入密码 用户名是默认的elastic 密码输入111111
./elasticsearch-setup-passwords interactive
systemctl restart elasticsearch.service
# 测试
curl --user elastic:111111 192.168.174.132:9200/_cat/nodes?v

# 3- kibana配置密码
vim /etc/kibana/kibana.yml
==========修改==============
elasticsearch.username: "elastic"
elasticsearch.password: "111111"

在哪里查看说明（就是下面的步骤）：在Management-集成页面、搜索 “system”、点开、右下 “在beats中也可以用”、点一下 “>”、x选择"系统指标"

1、下载安装

yum -y localinstall /software/package/metricbeat-7.17.3-x86_64.rpm

2、配置文件

vim /etc/metricbeat/metricbeat.yml
# setup.template.settings:
# 因为我这里es是单节点，所以设置主分片数为1，副本分片数为0.否则会报黄
  index.number_of_replicas: 0
# output.elasticsearch:
  hosts: ["192.168.174.132:9200"]
  username: "elastic"
  password: "111111"
# setup.kibana:
  host: "192.168.174.132:5601"

3、启用和配置system模块

metricbeat modules enable system
vim /etc/metricbeat/modules.d/system.yml
# - module: system
#  period: 10s
#  metricsets:
    - diskio
  diskio.include_devices: ["sda", "sda1", "sda2", "sda3"]

4、启动Metricbeat

setup 命令加载 Kibana 仪表板。如果仪表板已设置，请省略此命令。

metricbeat setup
service metricbeat start
# 停止 service metricbeat stop

5、模块状态

确认从 Metricbeat system 模块收到数据