大数据架构
微步229
这个作者很懒,什么都没留下…
展开
-
各大公司的大数据质量监控平台
转自:https://zhuanlan.zhihu.com/p/41679658在这个信息化时代,你用手机打开微信聊天、打开京东app浏览商品、访问百度搜索、甚至某些app给你推送的信息流等等,数据无时无刻不在产生。数据,已经成为互联网企业非常依赖的新型重要资产。数据质量的好坏直接关系到信息的精准度,也影响到企业的生存和竞争力。Michael Hammer(《Reengineering t...转载 2018-08-09 08:31:41 · 45929 阅读 · 1 评论 -
Kappa:比Lambda更好更灵活的实时处理架构
转自:http://bigdata.51cto.com/art/201702/531038.htm 本篇文章中分析Lambda三层结构模型的适用场景,同时暴露出Lambda架构一个最明显的问题:它需要维护两套分别跑在批处理和实时计算系统上面的代码,而且这两套代码需要产出一致的结果。根据对此缺点的分析,我们引出当时还在LinkedIn的大神Jay Kreps提出的Kappa架构,本文会对Ka...转载 2018-09-04 11:30:20 · 1854 阅读 · 0 评论 -
爱奇艺实时计算实战
转自:http://bigdata.it168.com/a2018/0911/5030/000005030447.shtml【IT168 专稿】本文根据胡嘉伟老师在2018年5月12日【第九届中国数据库技术大会】现场演讲内容整理而成。 讲师简介: 胡嘉伟,爱奇艺高级工程师。2016年毕业于上海交通大学并加入爱奇艺分布式实时计算团队, 工作期间,作为核心开发人员, 开发实现了Babe...转载 2018-09-17 11:36:49 · 1589 阅读 · 0 评论