
大数据-zeppelin
东华果汁哥
大家好!我叫赖德发,欢迎您来到我的博客。
展开
-
【大数据 minio】10分钟了解大数据存储的方案minio
docker-compose部署方案,我们需要进行安装docker与docker-compose,这个在docker文档中都有,可以参考docker-compose官网。企业上我们可以利用其分布式的功能,内部搭建图片处理服务器,文件存储服务器,公司内部的文件存储服务器,这样就不用限制存储的大小,也不限制存储位置。可以兼容亚马逊的S3存储服务接口,非常适合存储大容量的非结构化数据。我们个人可以直接在家庭内部搭建个人的云盘服务,开心的保存家里面的数据文件,再也不担心数据丢失的问题了。...原创 2022-07-29 08:39:00 · 2794 阅读 · 0 评论 -
【数仓 分层】实时数仓方案-kappa架构
ODSOperationalDataStore,操作数据层,在结构上其与源系统的增量或者全量数据基本保持一致。它相当于一个数据准备区,同时又承担着基础数据的记录以及历史变化。它的主要作用是完成数据加工与整合、建立一致性的维度、构建可复用的面向分析和统计的明细事实表以及汇总公共粒度的指标。ADSApplicationDataService,应用数据层。DWSDataWarehouseSummary,汇总数据层。DWDDataWarehouseDetail,明细数据层。...原创 2022-07-21 14:11:05 · 263 阅读 · 0 评论 -
【大数据 湖仓一体】数据仓库 VS 数据湖
湖仓一体=配备元数据层和加速层的对象存储+数据仓库、大数据、AI、HPC等各个领域的计算引擎+包含SQL在内的多种接口。原创 2022-07-18 15:27:51 · 349 阅读 · 0 评论