最近给学校做智慧校园规划,最多想到的就是大数据,大数据就是一切的基础,在我的脑海中原始的理解大数据就是一个大型的数据库,和以前做的应用软件的数据库一样,只是存储的数据更多所以叫大数据,随着自己深入的研究发现以前的理解有太多的误区,分析一下自己理解的 大数据,加深一些理解,也希望得到一些指点。
大数据平台的主要是要理解数据流向和应用。首先大数据中需要的是数据仓库,数据仓库会对所有的源数据进行存储,保证数据的完整性、准确性,能够追本溯源;其次需要的是对所有的原始数据进行处理,包括数据的清洗和转化,对清洗和转化后的数据进行分类的存储到数据集市(最复杂的过程),从ODS采集数据,到DW层分区对数据进行处理;最后根据存储在数据中心的数据,为上层应用提供服务。
看的有点蒙圈,其实总的来说要弄懂大数据只需要理解大数据中的一些数据的基础概念和大数据的分层,就能有比较直观的概念了。
数据分类
元数据:元数据是数据的数据类型,例如:人的性别是一个实体数据,那么对性别来说是可以固定分为男和女两类的,那么男和女就是性别的元数据。
主数据:所谓主数据就是实体的属性数据,比如:人(姓名、性别、年龄、电话等)是对实体的一种描述,一般来说是不会变化的,或者变化后需要及时更新共享的。