关于日志的那些事儿

本文介绍了日志在审计、诊断和监控告警方面的重要作用,包括商业分析、接口调用统计、软件使用情况、问题定位、实时监控策略等。还分享了Python中处理大日志的技巧,如使用logging模块,结合shell命令提高效率,以及多进程统计等方法。
摘要由CSDN通过智能技术生成

日志的作用

1.审计

  • 商业分析:比如从日志中提取用户行为(比如,一个点击事件流)并结合用户的其他详情(比如,最终购买行为)来生成报告或者推荐相关产品。
  • 接口调用情况统计:调用量、调用成功率、平均响应时间
  • 软件使用情况统计

2.诊断

  • 根据日志的错误信息的上下文定位和追踪问题
  • 根据相关日志信息了解软件的运行状态
  • ...

3.监控告警

在运维中,经常需要实时监控日志内容,根据某种策略来判断是否发出邮件告警,通知相关人员及时处理。读取日志的时间间隔可以根据实际情况来设定,可以1分钟、或者5分钟。

告警策略:

  • 基于关键字告警: 出现某些关键字,如SQLException,则发出邮件告警。
  • 基于统计告警:比如统计接口的成功率,低于某个值则告警;复杂一点的比如某个接口出现次数大于多少,成功率低于多少则告警;又如接口平均响应时间大于多少则告警。

实时读取日志的三种方法:

  • 增量读取:每次读取日志把文件的大小保存下来,下一次从一次的记录的位置开始读取。
  • 根据日志的时间读取,比如只读取最近两分钟的内容。这用方法不用记录读取的位置,日志文件不大时候,可采用这种方法,如果日志文件很大则此方法不适合。
  • 使用类似watchdog的库实时监控日志的变化,日志一用增加则读取增加部分,这种方法实时性较高。

碎碎念<

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值