政务云部署案例 | 基于Docker容器的数据实时采集

这两天正在学习K8s的内容，才知道K8s和Kubernetes之间的关系。同样属于容器，于是联想到一年前公司程序员小哥哥给讲的某个政府客户那里与众不同的Docker容器下的数据实时采集解决方案。

---

1. 现状及痛点

本文中所说的“政务云”，上海的企业几乎每天都用。对外应用端的名字叫“一网通办”。一开始做这个项目的时候，没想到数据的实时采集会成为整个部署中非常重要的一个技术难点。

政务云部署的是Docker容器化管理，更需要将IT运维工作智能化，以便应对业务压力。但与传统的虚拟机Agent方式进行数据采集不同，Docker环境下的数据采集、归类、存储均面临着巨大的挑战：

• Docker动态变化，性能及告警数据难以抓取

政府云系统很早便已部署Docker，虽然解决了轻量化问题，但是Docker的产生和消亡，以及数量和IP地址却一直处于动态变化中，数据抓取变得十分困难。

• 系统关联政府多个应用，复杂度非同寻常

政府云系统关联到多个委办局的多个应用，架构十分复杂，且数据规模庞大，要做到实时采集动态数据并加以存储和分析，是个不小的挑战。

• Docker仅提供标准数据输出，数据归类困难

基于Docker的采集Agent，仅需安装在宿主机上。虽然方便，但Docker只提供标准数据输出，不包含相应应用的信息，采集到的日志数据虽然完整，却无法定位到某个委办局、某个实际应用，也就是日志数据有，却难以直接留存合适的标签。

 

 

2. AIOps解决方案

针对这样系统的现状，夏洛克AIOps平台为该系统部署了相应服务，完成了从传统的虚拟机到Docker容器采集的重要跨越。

• 容器数据标签化

对生成的Docker容器添加相应的标签，并归类到所属的类别中，便于文件的存储和精确定位。

 

 

• 多维数据全量采集

不仅采集常见的日志数据，还会采集性能、告警等机器数据，以此监测数据运行状况，为之后的异常检测、根因定位进行综合分析。

• 动态数据实时分析

对于机器性能数据，按照默认60秒时间进行采集，而对于实时性要求更高的日志和告警数据，则可以秒级采集。

 

---

在项目实施的过程中，每个客户的数据及要求都有所不同。常常需要二次开发。

还好，产品化程度越高，二次开发的量就能少很多。这是我们努力的方向