大数据处理框架
大米饭精灵
无敌的我。。咳咳
展开
-
数据系统架构——Lambda architecture(Lambda架构)
传统系统的问题“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间,不仅仅是技术的变革,更是思想意识的变革,IT主要是为自我服务,用来更好地自我控制和管理,DT则是激活生产力,让别人活得比你好”——阿里巴巴董事局主席马云。数据量从M的级别到G的级别到现在T的级、P的级别。数据量的变化数据管理系统(DBMS)和数仓系统(DW)也在悄然的变化着。传统应用的数据系统架构设计时,应用直接访问数据库...转载 2018-04-22 10:35:17 · 3608 阅读 · 0 评论 -
离线计算与实时批处理
1、为什么spark不适合做实时批处理? 答:比如spark on yarn的时候,申请资源的过程非常慢,即使是数据量小、计算简单的application,其申请资源的时间远大于计算的时间,但是可以尝试通过写一个boot服务,把sc该厂一个长(常)服务,控制在10-15秒以内是非常完美的待续。。。...原创 2018-04-24 15:59:33 · 1615 阅读 · 0 评论