本文介绍了大数据的基本概念，包括其处理大量数据的能力和在商业趋势分析中的应用。接着详细阐述了数据仓库的特点，如面向主题、集成、稳定和反映历史变化。此外，讨论了数据处理的两种方式——OLTP和OLAP，分别适用于实时事务处理和复杂分析。在分析和挖掘部分，重点讲解了ETL和DM的过程。最后，探讨了Hadoop在数据密集型分布式应用程序中的作用和MapReduce编程范式。
一、大数据的基本概念
大数据，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。简单说就是将大量的数据通过类比和分类，分为众多较小型数据，将各个小型数据集合并后进行分析便可得出许多额外的信息和数据关系性，以此用来察觉商业趋势、判定研究质量、避免疾病扩散、打击犯罪或测定即时交通路况等。
二、数据仓库
数据仓库，是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化、（Time Variant）的数据集合，用于支持管理决策。
特点：
1、面向主题
操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。
2、集成的
数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。
3、相对稳定的
数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。
4、反映历史变化
数据仓库中的数据
最低0.47元/天 解锁文章
扫一扫
3194
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
