数据准备之日志采集发展历程
大家都听说过大数据计算,可能大家没想过大数据计算的数据来源自哪里呢?是怎么被抽取到数据仓库的呢?实际上数仓/数据湖的数据主要来源于日志、业务数据、第三方接口、 和 等其它存储。大数据这边有专门的数据集成工具(类似:,,,),就像一只八爪鱼把各种数据采集到大数据的数据仓库来。由于我们公司的日志数据在国外分散于多个可用区,采集日志也就不能使用一些开源的方案。在这里由我给大家简单介绍下我们公司大数据的数据准备之日志采集的发展历程。应该是在 年之前,日志采集方式还是应用使用指定的 配置文件,该配置除了指定日志