采集原理:
1.对数据按照要求进行处理:数据产生前/产生后,格式处理/内容处理
2.将处理后的数据使用相应接口发送给数据处理/分析平台
一:日志采集面临的挑战:
文本日志的解析与解读
日志格式变更的前后向兼容
日志的收集与传输
软件开发过程中的日志变更管理
二:数据库采集面临的挑战:
对生产环境的影响
时效性无法满足
缺乏历史状态
三:第三方数据采集面临的挑战:
API不通用
采集能力受限
采集原理:
1.对数据按照要求进行处理:数据产生前/产生后,格式处理/内容处理
2.将处理后的数据使用相应接口发送给数据处理/分析平台
一:日志采集面临的挑战:
文本日志的解析与解读
日志格式变更的前后向兼容
日志的收集与传输
软件开发过程中的日志变更管理
二:数据库采集面临的挑战:
对生产环境的影响
时效性无法满足
缺乏历史状态
三:第三方数据采集面临的挑战:
API不通用
采集能力受限