jenkins构建记录日志_构建企业日志记录层的清单

jenkins构建记录日志

在有关云迁移服务，数据中心和微服务等大型主题的任何讨论中，企业日志记录主题都可以归结为事后想法。 但是这样做的后果自负，因为如果不进行日志记录，就无法对服务进行有效的诊断和调试，就无法获得关键的可见性。 此外，如果您是大型企业，则可能违反了合规性要求。

在将应用程序和基础结构组件添加到数据中心时，收集的日志数据量将大大增加。 将其与使用Docker，容器和Kubernetes的临时组件结合起来，日志数据就变得至关重要。

日志记录层的专有工具未能跟上云原生的趋势，因此许多企业开始使用开源软件来满足其日志记录需求。 这些开放源代码工具允许用户统一所有网络设备，防火墙，应用程序和基础结构数据中的数据流，并且它们与已经为企业提供动力的其他开放源代码项目一起发展。 在大多数情况下，开源工具不再只是替代品，而是功能更强大的产品，其性能可能超过其专有同类产品。

在构建用于收集，统一和分析日志的基础结构时，请确保选中所有这些框，以确保日志发挥其作为宝贵记录和工具的潜力。

1. 安全性 ：由于日志包含来自您的应用程序，基础结构和网络设备的数据，因此它们可能还包含敏感信息。 为防止操作员或网络入侵者破坏该信息，请确保您的日志在静止和运输过程中都是安全的。 此外，请确保您的加密标准不容易解密（MD5或SHA1），但至少应使用SHA-256位加密（首选AES-256位加密）。
2. 高可用性：将日志数据传输到所需的后端以进行合规性或调试时，缺少日志部分会在企业历史记录中造成漏洞。 这意味着您可能无法确定哪个应用程序失败，哪个网络设备流传输了恶意内容或哪个国家/地区入侵了您的防火墙。 请记住，当您的基础架构不堪重负时，您的日志记录基础架构往往会随之而来。 高可用性确保您拥有辅助日志记录管道，如果主管道处于脱机状态，则该管道可以路由和审核日志。
3. 负载平衡 ：日志数据往往随着企业的增长而增长，并且日志量可以从每秒几百条消息增加到数百万条。 这意味着您的日志记录基础结构需要适当地平衡这些不断增长的消息速率的负载，并防止单个实例不堪重负。
4. 流拆分：一条日志消息对于企业中的多个利益相关者（例如IT，安全性和应用程序开发人员）可能很重要。 发送生产日志数据时，请确保您可以将数据有效地路由到特定利益相关者的工具集，并在多个利益相关者需要分别对其进行分析时复制数据。
5. 供应商锁定逃避：将数据发送到单个分析工具集是对管道进行编码的简便方法，但可能无法获得最佳的分析和见解回报。 此外，锁定单个供应商以在后端提供分析可能会很昂贵，并且您的数据可能会被劫持。 相反，您的日志记录管道应该灵活高效，从而使您能够快速采用新技术并将数据路由到可以对其进行最有效处理的位置。
6. 边缘处理：大多数情况下，当您在日志记录数据之上运行分析时，您可以运行昂贵且需要大量计算的查询，这些查询需要很长时间才能完成。 日志记录管道应该做一些初步的工作，而不是等到所有数据都在后端中开始分析之后，再用相关信息来扩充数据流或在多个节点之间分配处理。
7. 边缘过滤：就像您尝试只记录最重要的数据一样，有时日志只是一堆杂音。 您的日志记录管道应该能够智能地识别嘈杂的消息并快速将其过滤掉。 您的管道还应该能够在各种字段上进行过滤，包括日志的来源，日志的严重性，日志消息中的内容以及日志时间。
8. 与应用程序无关的日志记录（非模块化日志记录，整体式日志记录）：当日志记录管道与应用程序未分开时，每次更改日志记录管道时都需要重新部署应用程序。 这意味着您每次重新部署时都会丢失日志，并且如果应用程序出现故障，日志记录也会停止。 即使您需要对日志记录管道进行的更改很小，您仍需要重新部署应用程序，这对于移动应用程序而言是昂贵的，而如果您的应用程序是硬件产品的一部分，则几乎是不可能的。
9. 可靠性：记录日志的后端应始终启动并运行，但有时由于多种原因它们可能不可用。 您的日志记录管道应该能够识别何时发生错误，并能够在等待后端系统恢复时缓冲数据。 如果后端长时间不可用，则您的日志记录管道应能够使用其高可用性属性来切换到备份。
10. 监视：当不再生成日志时，您将无法查看基础结构，应用程序和网络设备。 一切可能运行顺利，或者所有地狱都可能崩溃。 这就是为什么当Google Cloud和Microsoft Azure中的日志记录中断时，工程师认为它的严重性为0。确保日志记录基础结构正常运行的唯一方法是监视以确保其正常运行，吞吐量快速且稳定，并且解决了所有异常情况。
11. 日志记录代理权重：通常，当您在应用程序旁边部署日志记录代理时，您希望该日志记录代理轻巧，高效且可靠。 使用繁重的日志记录代理可能会占用应为应用程序使用的性能，从而影响您的业务应用程序。

让您的日志记录层成为事后的想法可能会对您的业务产生严重影响。 遵循这些建议可确保您的企业日志记录不仅支持合规性需求，而且还实现了帮助您的企业平稳有效运行的必要目标。

翻译自: https://opensource.com/article/17/9/enterprise-logging-checklist

jenkins构建记录日志