大数据分析与挖掘主要技术——《大数据分析与挖掘》学习笔记

处理过程

大数据分析与挖掘的过程一般分为如下几个步骤：

1. 任务目标的确定。进行应用的需求分析，明确目标，了解先验知识和最终目标。
2. 目标数据集的提取。根据目标抽取数据集，选择与目标最相关的属性子集。
3. 数据预处理。包括数据清洗、数据转换、数据集成、数据约减等操作。
4. 建立适当的分析与挖掘模型。包括统计分析、分类回归、聚类分析、异常检测等。
5. 模型的解释与评估。解释挖掘出的模型，可通过可视化找出用户需要的模型。
6. 知识的应用。将挖掘出的知识及确立的模型部署在应用中，并不断完善。

数据挖掘的功能

（1）对数据的统计分析与特征描述
统计分析与特征描述可对数据本质进行刻画。统计分析包括对数据分布、集中与发散程度的描述，主成分分析，相关性分析等。描述结果可用散点图、直方图等展现。

（2）关联规则挖掘和相关性分析
如买牛奶也会买面包，这些商品构成了关联规则；购买电脑一段时间后购买内存卡等，这称为频繁序列模式。

（3）分类与回归
分类是通过对一些已知类别标号的训练数据进行分析，找到一种可以描述和区分数据类别的模型，然后用这个模型来预测未知类别标号的数据所属的类别。分类模型有很多，如决策树、贝叶斯分类器、KNN分类器、组合分类算法等。回归则是对数值型的函数进行建模，常用于数值预测。

（4）聚类分析
聚类分析是对未知类别标号的数据进行直接处理。聚类的目标是使聚类内数据的相似性最大，聚类间数据的相似性最小。每一个聚类可以看成是一个类别，从中可以导出分类的规则。

（5）异常检测或者离群点分析
数据集中包含的一些数据与数据模型的总体特性不一致，称为离群点。离群点可以通过统计测试进行检测，如假定数据服从某一概率分布，看对象是否在分布范围内。也可以使用距离测量，将与任何聚类都相距很远的对象当作离群点。也可以用基于密度的算法来检测局部区域内的离群点。