Shell脚本之日志分析脚本

概念

日志分析是在信息技术（IT）领域中一个至关重要的过程，涉及收集、解析和评估从各种系统和应用程序生成的日志文件中的数据。日志文件记录了系统操作、应用程序事件、网络活动、安全事务和其他IT基础设施组件的状态变化。

日志分析的重要性

• 故障排除：日志分析帮助快速识别和定位系统或应用程序的问题，减少平均修复时间（MTTR）。

• 性能监控：通过分析日志，可以监测系统性能并识别瓶颈，从而优化资源分配和提升效率。

• 安全审计：日志记录了所有系统活动，可用于检测异常行为、入侵尝试和数据泄露，加强安全措施。

• 合规性：满足法规要求，比如保留日志以供审计，确保符合行业标准和政策。

• 业务洞察：分析用户行为模式，了解客户偏好，改进产品和服务。

• 趋势预测：通过历史数据预测未来的行为模式或系统负载，支持决策制定

日志分析的优势

• 效率提升：自动化日志分析减少了人工检查日志的需要，使团队能够更快地响应问题。

• 成本节约：通过预防性维护和资源优化，减少因故障停机导致的成本。

• 实时监控：实时日志分析提供即时反馈，对于即时响应至关重要。

• 深度洞察：高级分析技术（如机器学习）可以从大量日志数据中提取深层次的见解。

• 整合能力：日志分析工具通常能与多种数据源集成，提供全面的系统视图。

• 可扩展性：随着组织规模的增长，日志分析解决方案能够轻松扩展，处理不断增加的数据量。

以下从Apache日志、Nginx日志、网络连接分析三个案例编写日志分析脚本

一、分析Apache日志，统计每个IP访问服务器的次数

#/bin/bash
#日志文件格式如下：
#201.28.117.13 - - [08/Apr/2024:11:45:16 +0800] "GET / HTTP/1.1" 200 615 "-" "curl/7.61.1"

awk '{ip[$1]++}END{for(i in ip){print ip[i],i }}' /var/log/httpd/access_log 

二、分析Nginx日志，统计每个IP访问服务器的次数

假设nginx日志在/usr/local/nginx/logs/access.log

#/bin/bash
awk '{ip[$1]++}END{for(i in ip){print ip[i],i }}' /usr/local/nginx/logs/access.log

三、网络连接分析，统计当前系统tcp和udp连接个数(使用ss可以查看网络连接状态）

#/bin/bash
# 获取TCP连接数  
tcp_count=$(ss -an | awk '/^tcp/{ip[$1]++}END{for(i in ip){print ip[i]}}')  
# 获取UDP连接数  
udp_count=$(ss -an | awk '/^udp/{ip[$1]++}END{for(i in ip){print ip[i]}}')  
# 输出结果  
echo "TCP 连接数: $tcp_count"  
echo "UDP 连接数: $udp_count"

以上编写的脚本仅供参考