在 ELK 栈部署成功后如何使用：从入门到实践20240814

使用 ELK 栈实现日志收集与分析：从零开始的详细教程

在上一篇文章中，我们成功部署了 ELK 栈，并通过 Filebeat 从应用服务器收集日志数据。现在，我们将深入一步，模拟一个完整的日志收集与分析过程，详细展示如何使用 ELK 栈收集和可视化日志数据，并列出一些常见问题及其解决方法。

环境和场景仿真

假设你有一台 Java 应用服务器，日志保存在 /var/log/app/app.log 中。我们将使用 Filebeat 将这些日志发送到 ELK 栈进行分析。

日志文件仿真

我们可以在应用服务器上创建一个简单的日志文件，模拟一个运行中的 Java 应用程序的日志：

1. 创建日志文件夹和文件

   sudo mkdir -p /var/log/app/
   sudo touch /var/log/app/app.log
   

2. 模拟日志内容

   我们使用以下命令向日志文件中写入一些模拟日志：

   sudo sh -c 'echo "2024-08-15 10:00:00 INFO Starting the application..." >> /var/log/app/app.log'
   sudo sh -c 'echo "2024-08-15 10:01:00 ERROR Failed to connect to database." >> /var/log/app/app.log'
   sudo sh -c 'echo "2024-08-15 10:02:00 INFO Application is running smoothly." >> /var/log/app/app.log'
   sudo sh -c 'echo "2024-08-15 10:03:00 WARN Low disk space on server." >> /var/log/app/app.log'
   

   现在，我们的 /var/log/app/app.log 文件中已经有了几条模拟日志。

配置和启动 Filebeat

1. 编辑 Filebeat 配置

   在应用服务器上编辑 /etc/filebeat/filebeat.yml，配置 Filebeat 读取上述日志文件并发送到 Logstash：

   sudo vi /etc/filebeat/filebeat.yml
   

   配置内容如下：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/app/app.log  # 指定日志文件路径
     fields:
       application: "my-java-app"
       environment: "production"
   
   output.logstash:
     hosts: ["<Logstash_Server_IP>:5044"]  # 替换为日志归集服务端的 IP 地址
   

2. 启动并测试 Filebeat

   启动 Filebeat，并测试配置是否正确：

   sudo filebeat test config
   sudo systemctl start filebeat
   sudo systemctl enable filebeat
   

   确保 Filebeat 正常运行，并开始将日志发送到日志归集服务端的 Logstash。

在 Logstash 上处理日志

1. 配置 Logstash 解析和处理日志

   在日志归集服务端上编辑或创建 /etc/logstash/conf.d/filebeat-input.conf：

   sudo vi /etc/logstash/conf.d/filebeat-input.conf
   

   配置内容如下：

   input {
     beats {
       port => 5044
     }
   }
   
   filter {
     if [fields][application] == "my-java-app" {
       grok {
         match => { "message" => "%{TIMESTAMP_ISO8601:timestamp} %{LOGLEVEL:log.level} %{GREEDYDATA:message}" }
       }
       date {
         match => [ "timestamp", "ISO8601" ]
       }
     }
   }
   
   output {
     elasticsearch {
       hosts => ["http://localhost:9200"]
       index => "app-logs-%{[fields][application]}-%{+YYYY.MM.dd}"
     }
   }
   

2. 启动并监控 Logstash

   启动 Logstash，并检查日志文件，确认是否有错误：

   sudo systemctl restart logstash
   sudo systemctl enable logstash
   sudo tail -f /var/log/logstash/logstash-plain.log
   

在 Kibana 中查看和分析日志

1. 创建索引模式

   在 Kibana 中，点击“管理” (Management)，然后选择“索引模式”（Index Patterns）：

   • 点击“创建索引模式”。
   • 输入 app-logs-* 作为索引模式的名称，然后点击“下一步”。
   • 选择时间字段 @timestamp，然后点击“创建索引模式”。

2. 使用 Discover 查看日志

   在 Kibana 中，点击“发现”（Discover）：

   • 选择 app-logs-* 索引模式。
   • 你现在应该能够看到模拟的日志数据，并可以通过搜索框过滤日志，比如输入 "ERROR" 来查看所有错误日志。

创建可视化和仪表板

1. 创建一个简单的日志级别柱状图

   在 Kibana 中，点击“可视化”（Visualize）：

   • 选择“垂直柱状图”。
   • 选择 app-logs-* 作为数据源。
   • 在“X 轴”上选择时间字段 @timestamp，在“Y 轴”上选择计数（Count）。
   • 在“分割系列”中按日志级别（log.level）进行分组。

2. 创建仪表板

   在 Kibana 中，点击“仪表板”（Dashboard）：

   • 点击“创建仪表板”。
   • 将你创建的可视化添加到仪表板中，并保存。

常见问题及解决方法

1. Filebeat 无法连接到 Logstash

问题：Filebeat 日志中显示无法连接到 Logstash。

解决方法：

• 检查 Logstash 是否在监听端口 5044：

  sudo netstat -plnt | grep 5044
  

• 确保防火墙没有阻止 5044 端口：

  sudo firewall-cmd --add-port=5044/tcp --permanent
  sudo firewall-cmd --reload
  

2. Kibana 中没有显示日志

问题：在 Kibana 的 Discover 中看不到任何日志。

解决方法：

• 检查 Elasticsearch 中是否有索引：

  curl -X GET "localhost:9200/_cat/indices?v"
  

• 确保 Logstash 正确地将数据发送到 Elasticsearch，检查 Logstash 日志是否有错误：

  sudo tail -f /var/log/logstash/logstash-plain.log
  

3. Elasticsearch 索引状态为红色

问题：Elasticsearch 的索引状态为红色，可能是因为主节点故障或磁盘空间不足。

解决方法：

• 检查 Elasticsearch 集群状态：

  curl -X GET "localhost:9200/_cluster/health?pretty"
  

• 检查磁盘空间：

  df -h
  

• 如有需要，清理旧索引或增加磁盘空间。

进阶操作

1. 定期清理旧日志

使用 Elasticsearch 的索引生命周期管理（ILM）功能自动删除旧日志：

• 在 Kibana 中，进入“管理”（Management） > “索引生命周期管理”（Index Lifecycle Management）。
• 配置一个新的生命周期策略，将旧索引自动删除或转移到冷存储。

2. 设置告警规则

在 Kibana 中设置告警规则：

• 进入“告警和动作”（Alerting），创建新的日志阈值告警规则。
• 配置当错误日志超过某个阈值时发送邮件通知。

总结

通过这个详细的仿真过程，你已经掌握了从日志文件的生成、收集到可视化和分析的完整流程。这篇教程详细展示了如何使用 ELK 栈处理实际的日志数据，并提供了常见问题的解决方案。

如果你在使用过程中遇到问题或有进一步的问题，欢迎随时与我联系！希望这篇教程能为你的系统管理工作带来帮助。