日志管理演进：从基础到创新

日志管理基础

什么是日志？

日志是您的IT环境中发生事件的数字记录，实时提供正在发生的情况的全面概述。它们是计算机系统中发生事件的记录，如软件或硬件错误、系统事件、安全事件、用户活动和网络活动。它们以可以轻松解析和分析的文件格式存储。日志可以由各种来源生成，如应用程序、操作系统、数据库、网络设备和安全设备。

日志是各种规模企业的重要组成部分。它们用于跟踪IT系统的性能和健康状况、解决问题、遵守法规以及提高安全性。在我们介绍日志管理的基础知识时，我们将提供IT日志管理的概述，包括日志的定义、日志类型、管理日志的挑战、日志管理的好处以及用于管理日志的工具。

此外，基于特定事件会生成自定义日志，例如垃圾收集日志。此外，开发人员可以创建全新的自定义日志，并定义日志类型和字段。

为什么需要日志管理？

想象一下，您是一家快速发展的IT组织的首席技术官。您必须确保支持公司运营的关键应用程序无缝运行，以为客户提供最佳体验。但是，您还必须了解幕后复杂的技术事件，以便能够快速识别和解决问题。这就是日志管理的作用所在。

一个成熟的日志管理系统提供了有价值的洞察，了解您的系统如何运作，并帮助您的IT团队解决问题。您的IT环境中发生的每个活动都会生成日志，这些日志允许您深入了解过程的细微差别。

不断增长的日志数据消耗了更多的存储空间，导致内存不断过载和应用程序性能不佳。我们通过配置在达到内存阈值时发出警报，然后删除或清除日志文件来处理内存过载。这种方法既耗时又低效。

访问日志时缺乏安全性。开发人员必须直接访问服务器以检索日志，增加了我们的IT环境的安全风险。尽管对所有开发人员进行了彻底的背景检查，但由于他们频繁访问生产服务器，总有可能会有一名不满意的开发人员滥用敏感信息的风险。

第三个挑战是日志的可靠性，在IT审核期间，由于开发人员可以直接访问服务器并可能篡改日志，日志的可靠性受到质疑。

为了解决这些挑战并建立一个更有效的系统，我们重新评估了我们的日志管理策略。

2010年，我们迈出了重要的一步，引入了集中式日志记录系统。有了这个新系统，我们不再将日志存储在单个应用程序服务器上。相反，我们从所有来源收集日志，并将其存储在一个单独的专用服务器中。这种方法帮助我们解决了许多我们在分散记录日志方面面临的问题，包括安全性和可靠性方面的担忧。

日志管理

ManageEngine引入的集中日志记录

中央日志服务器为开发人员提供了一个安全且简化的方式来访问日志，而无需直接访问各个应用程序服务器。负责监视和审计对安全服务器的访问的中央安全团队现在有了一个更可靠的系统，用于监视日志服务器上的所有活动。

然而，随着我们用户群的扩大，我们遇到了新的挑战。登录到中央服务器的用户数量增加导致内存使用量增加，随后导致内存过载。尽管中央日志记录降低了篡改的风险，但我们在日志管理系统的安全性和可伸缩性方面仍有改进的空间。

卓豪日志管理系统

半自动化日志管理引擎

我们的IT领导人决心找到一个解决方案，以解决内存过载、安全风险和繁琐的日志审计问题。因此，2012年，我们建立了一个增强的日志管理系统——这是多年努力、创新和持续改进的结果。

让我们深入了解我们的系统的细节，以及它是如何解决我们曾经面临的挑战的。

正如前面所述，当日志直接存储在应用程序服务器上时，我们经常遇到内存过载问题。后来，当我们集中存储日志时，我们面临了另一个挑战：中央服务器中的用户活动增加导致内存使用量激增，进而导致系统崩溃和不可用。

在我们当前的系统中，我们为后端存储实现了一个分布式文件系统和一个单独的控制台用于用户活动，以解决这个挑战。这个系统使开发人员可以安全地从浏览器访问控制台并搜索日志（类似于在计算机上搜索其他文件），而不会出现内存过载的风险。这个解决方案已被证明是可伸缩、可靠和安全的，为我们的开发人员提供了无缝的体验。

自动化日志管理引擎

应对安全风险的挑战

我们早期的日志记录系统存在固有的安全风险，因为开发人员必须登录到应用程序服务器或中央服务器以访问日志。这导致了日志篡改的可能性，并使我们的系统容易受到潜在的安全漏洞的影响。

我们当前的半自动化日志管理系统通过通过浏览器安全地访问日志来解决这些问题。我们的开发人员现在可以使用他们现有的登录凭据轻松地搜索和获取日志，系统设计为安全地存储、索引和检索日志，无需单独的登录凭据。

解决繁琐的日志审计挑战

我们早期的系统允许开发人员通过登录到应用程序服务器或集中控制来修改日志审计跟踪，使日志审计过程变得耗时且复杂。我们当前的系统集成了一个日志代理，与开发人员创建的构建并行运行，以解决这个挑战。

日志代理记录开发人员的所有活动，包括记录的数据和发送到日志服务器的数据。因此，日志审计现在简单而流畅，为我们节省了宝贵的时间和资源。

我们是如何开发一个能够克服这些挑战的系统的？以及，这个系统如何运作，帮助我们改善我们的IT环境？继续阅读以获取这些问题的答案以及更多信息。