hadoop大数据生态圈
零点-一条路走到底
为你而走
展开
-
obs对象存储 + 机器学习模型 + spark处理
在思考一个问题:大量图片,文本,视频数据,怎样存储? (一般用obs好点吧,可能比hdfs好点)怎样找出这些数据中重要、有效数据,并给这些数据打上便签,在需要时根据标签提取使用???(机器学习模型训练出来结果, 可以借用spark处理)架构方案:原理:代码实现:参考资料:https://helpcdn.aliyun.com/document_detail/97906.html?spm=a2c4g.11186623.6.1748.24af40eaTem...原创 2021-03-03 17:35:34 · 573 阅读 · 4 评论 -
数据仓库、LODP、OLAP
数据仓库:也称为企业数据仓库,是一种数据存储系统,它将来自于不同数据源的数据进行结构化数据聚合起来,用于业务智能领域的比较和分析,数据仓库时包含多种欧冠数据的存储库,并且时高度建模的。数据仓库功能是研究和解决对外提供信息的问题。数据仓库的特征是面向主题,集成性,稳定性和时变性。用于支持管理决策。数据仓库存在的意义在于对企业的所有数据进行汇总,为企业各各部门提供统一的、规范的数据出口。OLAP 和 OLDP(1).操作型处理,叫做联机事务处理OLTP(online transac.原创 2020-11-02 17:28:43 · 2141 阅读 · 0 评论