没有分类处理不同特性日志,输出不同角色、不同用途的日志使用需求。
依托于消息集群提供缓存存储存留时间过短,存在大部分日志存已过期自动清理,无法消费使用问题。若增加留存时间,需加大消息集群规模,会有资源用量成倍增长的问题。
消息集群提供缓冲存储的方式,不具备存储索引引擎检索能力,消费后数据入ES或其它引擎存储造成二次资源占用,或临时消费到本地文件存在文件过大无法检索问题。
消费带来消费进程的资源占用,在流量较大的场景,准确实时获取数据需要按生产者分区数设定消费数,二次耗用资源。
人工干预过多,带来终端用户、管理者使用的复杂度,有统一管理降低人工依赖的需求。
日志源、管理端、终端端点过多,没有有效的统一管理,存较高风险。
日志使用需求方的可视化、检索、聚合、时效性无法分类覆盖。
升级的风险考量评估。接入采集、版本升级、集群切换等场景,每次需要提前做风险评估预案,很难做到全覆盖。
日志采集不统一,多采集、多存储、多引擎、多输出,造成新业务纳管困难,有较强统一采集需求。
基于云原生日志分类处理方案与落地实践
最新推荐文章于 2023-07-19 17:03:35 发布
本文深入探讨了云原生环境下日志分类的处理方案,结合实际落地经验,阐述了如何有效地管理和分析海量日志数据,提升运维效率和故障排查能力。
摘要由CSDN通过智能技术生成