后端数据采集方案总结

采集原理：

1.对数据按照要求进行处理：数据产生前/产生后,格式处理/内容处理

2.将处理后的数据使用相应接口发送给数据处理/分析平台

一：日志采集面临的挑战：

文本日志的解析与解读

日志格式变更的前后向兼容

日志的收集与传输

软件开发过程中的日志变更管理

二：数据库采集面临的挑战：

对生产环境的影响

时效性无法满足

缺乏历史状态

三：第三方数据采集面临的挑战：

API不通用

采集能力受限