数据挖掘笔记（一）

最新推荐文章于 2024-01-09 16:03:07 发布

恺风

最新推荐文章于 2024-01-09 16:03:07 发布

阅读量2.8k

点赞数

分类专栏：杂谈文章标签：数据挖掘数据仓库 processing 数据分析 sql server 数据库

本文链接：https://blog.csdn.net/flowingflying/article/details/6541930

版权

杂谈专栏收录该内容

72 篇文章 2 订阅

订阅专栏

数据--》数据仓库--》数据挖掘-》模型评估-》知识

数据分析

通过数据分析可以发现最有价值客户，是组合销售更有效率，留住那些最有价值客户，用更小的成本发现欺诈现象。通信业手机数据分析目的是为了方便快捷地管理用户。但数据中包含了很多关于各个变量之间关系的信息，这些信息可被用来改进相关领域的决策。

基础在于数据库的数据的处理，数据处理有两种类型

1、操作型（联机事务处理OLTP（on-line transaction processing，与业务活动关联）

也称为事务处理，例如我们对数据的增删改查，为特定的应用服务。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。关心的是响应时间、数据的安全性和完整性。

性能特性：数据存取操作频率高，而每次操作处理时间短
数据集成：对整个企业范围内的集成应用考虑少

2、分析型（联机分析处理OLAP，On-Line Analytical Processing，与决策活动关联）

需要大量访问历史数据库，支持复杂查询，去除细节数据，并常使用外部数据来源。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

性能特性：需要运行时间长，消耗系统资源多
数据集成：全面，企业内部数据，企业外部数据，竞争对手的数据等等

在操作型环境中直接构建分析型应用是一种失败的尝试，需要将分析型处理数据和操作型处理数据分离。

数据仓库

为了满足管理人员的决策分析需求，需要在数据库基础上产生适应决策分析的数据环境，即数据敞开。数据仓库提供联机分析处理（OLAP，On-Line Analytical Processing）工具，具有汇总、合并和聚集功能，以及从不同角度观察信息的能力。尽管OLAP工具支持多维分析和决策，对于深层次的分析，如数据分类、聚类和数据随时间变化的特征仍然需要其他分析工具。

数据仓库是作为DSS服务基础的分析DB，用来存放大量的只读数据，为制定决策提供所需信息。

数据敞开是与操作型系统相分离的、基于标准企业模型集成的，带有时间属性的（即与企业定义的时间去端相关）、面向主题及不可更新的数据集合。

定义：数据仓库就是一个用以更好地支持企业或组织的决策分析处理，面向主题（subject-oriented)，集成的(integrated)，不可更新的，随时间不断变化（time-variant)的数据集合。

数据仓库支持OLAP、数据挖掘和决策分析。OLAP从数据仓库中的综合数据出发，提供面向分析的多维模型，并使用多维分析的方法从多个角度、多个层次对多维数据进行分析，使决策者能够以更加自然的方式来分析数据。

数据仓库是一种语义上一致的数据存储，他充当决策支持数据模型的物理实现，并存放企业战略决策所需信息。数据仓库也常被看作一种体现结构，通过将异种数据源中的数据集成在一起而构造，支持结构化和专门的查询、分析报告和决策制定。

早期数据仓库是C/S，近年从功能上划分为若干个分布式对象，这些分布式对象不仅可直接用于建立数据仓库，还可以在应用程序中向用户提供调用接口。

相关产品：IBM DB2；微软：在SQL Server 7.0和SQL Server 2000集成了Plato的OLAP服务器；Sybase：Warehouse Studio；Oracle：Oracle Warehouse Builder，Oracle Express，DataMart Suit

数据挖掘

数据挖掘Data mining也就是KDD（Knowledge Discovery in Databases知识发现的分析过程）。

数据挖掘工具进行数据分析可以发现重要的数据模式，对商务决策，知识库、科学和医学研究作为巨大贡献。数据挖掘以数据敞开和多维数据库中的数据为基础，发现数据中的现在模式和进行预测。因此，数据敞开的功能是支持管理层进行科学决策。数据挖掘就是从杂乱无章的数据中找出规律，将数据转为信息的一个过程。要具有普遍意义，需从海量数据来挖掘。

数据挖掘步骤：