数据采集
技术搬砖工
技术搬砖工交流微信: monky2020
展开
-
后端数据采集方案总结
采集原理: 1.对数据按照要求进行处理:数据产生前/产生后,格式处理/内容处理 2.将处理后的数据使用相应接口发送给数据处理/分析平台 一:日志采集面临的挑战: 文本日志的解析与解读 日志格式变更的前后向兼容 日志的收集与传输 软件开发过程中的日志变更管理 二:数据库采集面临的挑战: 对生产环境的影响 时效性无法满足 缺乏历史状态 三:第三方数据采集面临的挑战:原创 2017-09-16 14:47:52 · 4611 阅读 · 0 评论 -
日志数据打印与采集总结
日志打印与采集: 面临的挑战 1.文本日志的解析与解读 2.日志格式变更的向前向后兼容 3.日志的收集与传输 4.软件开发过程中的日志变更管理 高质量的日志打印: 1.提高数据意识,与整个开发过程整合 2.日志应该尽量全和细致,存储廉价,数据宝贵 3.除与后端无交互的事件在客户端采集外,其余全部后端以日志形式采集,在这个过程原创 2017-09-16 15:19:37 · 867 阅读 · 0 评论 -
软件工程中的日志打印总结
原创 2017-09-16 15:29:11 · 731 阅读 · 0 评论 -
数据库数据采集总结
一个理想原则: 1、经常变动的信息,应该通过埋点/日志的方式作为用户行为的一部分 2、不经常变动的信息,可以导入进来作为维度表 为什么需要采集数据库的数据? 1.理想情况下,对数据库数据的变更都可以在日志中提现 问题: 缺少历史状态 采集任务的负载会影响线上业务 采集内容: 用户行为 用户行为相关实体补充 用户表 订单表 商户表 商品表...原创 2017-09-16 15:36:41 · 1888 阅读 · 0 评论