理论上数据仓库集中了企业的所有数据,一个企业只需建立一个数据仓库。仓库本身不生产数据,数据均从源导入。
源头数据可分三类:
(1)结构化数据 :主要是关系型数据库中的数据。
(2)半结构化数据 :一般都是纯文本数据,但是有各种存储格式,如xml。
数据存储不像关系型数据库那样整齐,或者字段嵌套表格数据。
选取部分这些数据存储到仓库,可以预见ETL过程并不轻松。
另外,这些数据格式各异,可能要创建存储格式或者选择NoSQL数据库。
典型的NoSQL数据库有,HBase,Mongodb ,Cassandra,Redis 。
(3)非结构化数据 :主要是图片,音频,视频。
这些数据本身没有多少分析和挖掘的价值,一般是存储在文件系统中,通过仓库的元数据进行管理。
即记录这些数据存储位置,分辨率等属性,方便快速检索,以检索结果进行统计和分析。
其实就是给每个非结构化数据贴上了标签,并将标签信息记录到了数据仓库中。