浅谈大数据

本文探讨了大数据的基础概念和架构,重点介绍了数据仓库的分层,包括ODS、DWD、DWB、DWS和数据集市。数据集市是根据用户群体定制的微型数据仓库,通过主题域分析和表结构设计实现。文章强调理解数据仓库的层次和数据集市的构建对于掌握大数据至关重要。
摘要由CSDN通过智能技术生成

最近给学校做智慧校园规划,最多想到的就是大数据,大数据就是一切的基础,在我的脑海中原始的理解大数据就是一个大型的数据库,和以前做的应用软件的数据库一样,只是存储的数据更多所以叫大数据,随着自己深入的研究发现以前的理解有太多的误区,分析一下自己理解的 大数据,加深一些理解,也希望得到一些指点。

大数据平台的主要是要理解数据流向和应用。首先大数据中需要的是数据仓库,数据仓库会对所有的源数据进行存储,保证数据的完整性、准确性,能够追本溯源;其次需要的是对所有的原始数据进行处理,包括数据的清洗和转化,对清洗和转化后的数据进行分类的存储到数据集市(最复杂的过程),从ODS采集数据,到DW层分区对数据进行处理;最后根据存储在数据中心的数据,为上层应用提供服务。

看的有点蒙圈,其实总的来说要弄懂大数据只需要理解大数据中的一些数据的基础概念和大数据的分层,就能有比较直观的概念了。

数据分类

元数据:元数据是数据的数据类型,例如:人的性别是一个实体数据,那么对性别来说是可以固定分为男和女两类的,那么男和女就是性别的元数据。

主数据:所谓主数据就是实体的属性数据,比如:人(姓名、性别、年龄、电话等)是对实体的一种描述,一般来说是不会变化的,或者变化后需要及时更新共享的。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值