大数据分析与挖掘-Part1-绪论

大数据分析与挖掘-Part1-绪论

大数据基本特征（4V）

• Volume 数据体量大
• Variety 数据多样性，且多为非结果型数据
• Value 价值密度低
• Velocity 速度快，实时性高，对于高速动态数据流，处理数据越即时，产生的价值越大

（大）数据挖掘概念

从大量数据中抽取出有价值的信息和模式的过程

数据挖掘一般流程

数据集选取

一般数据集是已经存在的或者至少知道如何获得的(访问某个资料库，网上过滤抓取需要的数据，问卷调查手动收集等)。数据集的选取对数据挖掘模式是否有趣起决定作用。常用的数据集网站是UCI：https://archive.ics.uci.edu/ml/datasets/

数据预处理

为什么要进行数据预处理？

初试数据集的准备和变换是数据挖掘过程中重要的步骤。

包含大量不完整，含噪声和不一致的数据是大数据应用中的典型特点。

数据的预处理能有效提高数据质量，节约大量的时间和空间。

大部分数据挖掘算法对输入数据的格式，质量以及规模有一定的要求。

常用数据处理方法

数据预处理目的是提高数据质量：准确性、完整性和一致性，方法包括数据清理、数据集成、数据规约和数据变换方法。

数据分析（挖掘）

常用方法有：

• 关联规则挖掘：用于发现隐藏在大型数据集中令人感兴趣的联系，所发现的模式通常用关联规则或者频繁项集的形式表示。
• 分类与预测：事先利用已有数据建立数学模型，再使用数据模型对将来的或未知的对象进行分类。
• 聚类分析：是一种无指导的分类，将一组数据对象划分为若干个簇，簇内数据是相似的，簇间的数据是相异的。
• 异常点检测

获取数据模式，将其评估与表示为知识

，簇间的数据是相异的。

• 异常点检测

获取数据模式，将其评估与表示为知识