数据采集
技术搬砖工
技术搬砖工交流微信: monky2020
展开
-
后端数据采集方案总结
采集原理:1.对数据按照要求进行处理:数据产生前/产生后,格式处理/内容处理2.将处理后的数据使用相应接口发送给数据处理/分析平台一:日志采集面临的挑战:文本日志的解析与解读日志格式变更的前后向兼容日志的收集与传输软件开发过程中的日志变更管理二:数据库采集面临的挑战:对生产环境的影响时效性无法满足缺乏历史状态三:第三方数据采集面临的挑战:原创 2017-09-16 14:47:52 · 4611 阅读 · 0 评论 -
日志数据打印与采集总结
日志打印与采集:面临的挑战 1.文本日志的解析与解读 2.日志格式变更的向前向后兼容 3.日志的收集与传输 4.软件开发过程中的日志变更管理高质量的日志打印: 1.提高数据意识,与整个开发过程整合 2.日志应该尽量全和细致,存储廉价,数据宝贵 3.除与后端无交互的事件在客户端采集外,其余全部后端以日志形式采集,在这个过程原创 2017-09-16 15:19:37 · 866 阅读 · 0 评论 -
软件工程中的日志打印总结
原创 2017-09-16 15:29:11 · 731 阅读 · 0 评论 -
数据库数据采集总结
一个理想原则:1、经常变动的信息,应该通过埋点/日志的方式作为用户行为的一部分2、不经常变动的信息,可以导入进来作为维度表为什么需要采集数据库的数据? 1.理想情况下,对数据库数据的变更都可以在日志中提现 问题:缺少历史状态采集任务的负载会影响线上业务采集内容:用户行为用户行为相关实体补充用户表订单表商户表商品表...原创 2017-09-16 15:36:41 · 1888 阅读 · 0 评论