LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models

本文是LLM系列文章，针对《LogParser-LLM: Advancing Efficient Log Parsing with Large Language Models》的翻译。

摘要

日志是无处不在的数字足迹，在系统诊断、安全分析和性能优化中发挥着不可或缺的作用。从日志中提取可操作的见解在很大程度上取决于日志解析过程，该过程将原始日志转换为结构化格式以供下游分析。然而，当代系统的复杂性和日志的动态特性对现有的自动解析技术提出了重大挑战。大型语言模型（LLM）的出现提供了新的视野。凭借其广泛的知识和情境能力，LLM在各种应用中都具有变革性。在此基础上，我们介绍了LogParser LLM，这是一种集成了LLM功能的新型日志解析器。这种结合将语义见解与统计细微差别无缝融合，消除了对超参数调整和token训练数据的需求，同时通过在线解析确保了快速的适应性。进一步深化我们的探索，我们解决了解析粒度的复杂挑战，提出了一种新的度量标准，并整合了人机交互，使用户能够根据自己的特定需求校准粒度。通过对Loghub-2k和大规模LogPub基准的评估，我们的方法的有效性得到了实证证明。在LogPub标准的评估中，涉及14个数据集的每个数据集平均360万个日志，我们的LogParser LLM平均只需要272.5次LLM调用，分组准确率达到90.6%的F1分数，解析准确率达到81.1%。这些结果证明了该方