千万级可观测数据采集器 - iLogtail代码完整开源

2022年6月29日，阿里云iLogtail开源后迎来首次重大更新，正式发布完整功能的iLogtail社区版。本次更新开源全部C++核心代码，该版本在内核能力上首次对齐企业版，开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。本次发布新增日志文件采集、容器文件采集、无锁化事件处理、多租户隔离、基于Pipeline的新版配置方式等诸多重要特性，全面增强社区版的易用性和性能，欢迎广大开发者关注、共建。

可观测性数据采集挑战

可观测性是通过检查其输出来衡量系统内部状态的能⼒。该术语起源于⼏⼗年前的控制理论，最早是匈牙利裔工程师鲁道夫·卡尔曼提出。在分布式IT系统中，可观测性典型使⽤种类型的遥测数据⸺⽇志、指标和跟踪来度量基础设施、平台和应用程序，以了解他们的运行状态和过程。这些数据的收集通常由一个与被观测对象共同运行的采集Agent完成。基于云原生和微服务的现代系统架构下，这些观测对象比以往分布更加分散，数量更多且变化更快，使得采集Agent面临如下挑战：

1. 高性能，低开销：现代应用程序通常在数据中心、公共云和边缘处汇集了数以千计的服务器、虚拟机、容器中运行，采集Agent的每一点性能开销都会被数以千计地放大。目前众多开源Agent的设计更多的是偏重功能而非性能，单核处理性能普遍在2-10M/s左右，而我们希望能达到单核100M/s的性能。在采集目标增加、数据量增加、采集延迟、服务端异常等情况下，开源Agent内存都会呈现爆炸式增长，而我们希望即使在各种环境下，内存也能处在较低的水位。
2. 采集稳定准确，故障多级隔离：可观测性需要比被观测的系统至少可靠一个数量级。数据采集Agent的稳定性，除了保证数据本身采集的准确性外，还需要保证不能影响业务应用，否则将带来灾难性的后果。另一方面，无论怎样出现问题，都需要尽可能的隔离问题，例如一个Agent上有多个采集配置，一个配置出问题，不能影响其他配置。
3. 大规模配置企业级管控：可观测数据的应用范围广泛，一个企业内部往往存在大量配置，需要Agent支持中心化、自动化配置管理能力，代替手工登录机器修改配置的方式，并且能够保证配置Reload期间数据不丢不重。当Agent有多个采集配置时