大数据
【江湖】三津
https://github.com/whadmin/rocketmq?spm=ata.13261165.0.0.69327a8cLihJFD
展开
-
【转载】阿里数据技术大图详解
架构图从下往上看,从数据采集和接入为始,抽取到计算平台,通过OneData体系,以“业务板块+分析维度”为架构去构建“公共数据中心”。基于公共数据中心在上层根据业务需求去建设消费者数据体系、企业数据体系、内容数据体系等核心数据资产,深度加工后,数据就可以发挥其价值被产品、业务所用。通过数据服务平台“OneService”提供统一数据服务。目前在这个服务之上正在构建两个智能化平台:数据智能平台...原创 2020-11-24 13:37:19 · 5595 阅读 · 0 评论 -
【Hadoop学习笔记】大数据框架原理及主要工具概述
大数据大数据技术与工程开发技术在架构上有很大的不同,大数据技术当然更关系数据,相关架构也都是围绕着数据展开,重要要考虑如何存储、计算、传输大规模的数据等;而工程端的计算处理模型都是“输入-> 计算-> 输出”模型。最大的不同点就是工程技术程序是主体,数据是传输对象,将数据输入后工程才开始计算,然后输出结果。而面临PB级别的大数据计算任务,再去搬移数据,无论读取、传输、处理已经任何...原创 2020-05-22 11:48:52 · 512 阅读 · 0 评论