机器学习与数据挖掘——前言

如果有兴趣了解更多相关内容，欢迎来我的个人网站看看：瞳孔空间

这是从老师的PPT里面提取出来的，知识点分布比较零散，可能他做PPT的时候也没想那么多。

一：机器学习

机器学习的定义：一个计算机程序被称为可以学习，是指它能够针对某个任务T和某个性能指标P，从经验E中学习。这种学习的特点是，它在T上的被P所衡量的性能，会随着经验E的增加而提高。

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能，从而在计算机上从数据中产生“模型”，用于对新的情况给出判断。

机器学习是一门多学科交叉专业，涵盖概率论知识、统计学知识、近似理论知识和复杂算法知识。机器学习推动人工智能快速发展，是第三次人工智能发展浪潮的重要推动因素。

典型的机器学习过程：

实施过程：

机器学习领域诞生了众多的经典理论：PAC学习理论、决策树、支持向量机SVM、Adaboost、循环神经网络RNN和LSTM、流形学习、随机森林Random Forest等，并走向实用。

经典的机器学习算法：

• 上世纪50年代的图灵测试与塞缪尔开发的西洋跳棋程序
• 上世纪60年代中到70年代末的发展几乎停滞
• 上世纪80年代使用神经网络反向传播(BP)算法
• 昆兰在1986年提出的“决策树”（ID3算法）
• 上世纪90年代支持向量机(SVM)算法（1964年已被提出）
• 2006年辛顿(Hinton)提出深度学习(Deep Learning)

机器学习相关概念的辨识：

• 数据挖掘：Data Mining，简称DM
• 知识发现：Knowledge Discovery in Database， 简称KDD
• 模式识别：Pattern Recognition，简称PR
• 统计：Statistics
• 神经计算：Neuro Computing
• 数据库：Databases
  

机器学习算法分类：

• 监督学习(Supervised Learning)
• 无监督学习(Unsupervised Learning)
• 半监督学习(Semi-Supervised Learning)
• 自监督学习(Self-Supervised Learning)

监督学习

• 监督学习中的数据集是有标签的，对于给出的样本是有答案的，这类机器学习称为监督学习
• 根据标签类型的不同，监督学习分为分类问题和回归问题两类：
  • 分类是预测某一样东西所属的类别（离散的），比如给定一个人的身高、年龄、体重等信息，然后判断性别、是否健康等
  • 回归则是预测某一样本所对应的实数输出（连续的），比如预测某一地区人的平均身高
• 大部分模型都是属于监督学习，包括线性分类器、支持向量机等。常见的监督学习算法有：k-近邻算法（k-Nearest Neighbors，KNN)、决策树(Decision Trees)、朴素贝叶斯(Naive Bayesian)，支持向量机(SVM)等

回归的定义：假定同一个或多个独立变量存在相关关系，寻找相关关系的模型。不同于时间序列法的是：模型的因变量是随机变量，而自变量是可控变量。分为线性回归和非线性回归，通常指连续要素之间的模型关系，是因果关系分析的基础。（回归研究的是数据之间的非确定性关系)

线性回归算法寻找属性与预测目标之间的线性关系。通过属性选择与去掉相关性，去掉与问题无关的变量或存在线性相关性的变量。

在建立回归模型之前，可先进行主成分分析，消除属性之间的相关性。最后通过最小二乘法，算法得到各属性与目标之间的线性系数。

分类与聚类：

• 分类：类别是已知的，通过对已知分类的数据进行训练和学习，找到这些不同类的特征，再对未分类的数据进行分类。属于监督学习
• 聚类：事先不知道数据会分为几类，通过聚类分析将数据聚合成几个群体。聚类不需要对数据进行训练和学习。属于无监督学习

二：数据挖掘

数据挖掘可以视为机器学习和数据库的交叉，它主要利用机器学习界提供的技术来分析海量数据，利用数据库界提供的技术来管理海量数据。

• 数据库知识发现(Knowledge Discovery in Databases，KDD)
• 数据挖掘(Data Mining DM)
• 数据分析(Data Analysis)
• 数据融合(Data Fusion)
• 决策支持(Decision Supporting)

知识发现的定义：Fayyad，Piatetsky-Shapiro和Smyth在KDD96国际会议的会议论文《From Data Mining to Knowledge Discovery》一文中将KDD定义为：从大量数据中获取有效的、新颖的、有潜在作用的和最终可理解的模式的非平凡过程。

数据挖掘(Date Mining)是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的、潜在的有用的信息。广泛观点的定义：是从存放在数据库、数据仓库或其他信息库中的大量数据中挖掘有趣的知识过程。

数据分析方法：

• 关联分析(Association)：如经典的啤酒与尿布案例
  • 市场组合分析
  • 套装产品分析
  • 目录设计
  • 交叉销售
• 聚类分析(Clustering)
  • 客户细分
  • 市场细分
• 神经网络(Neural Networks)
  • 倾向性分析
  • 客户保留
  • 目标市场
  • 欺诈检测

三：数据及数据类型

3.1：数据的基本概念

数据的属性：是对象的性质或特性

• 属性也称为变量、字段、特性、特征或维
• 如：眼球颜色、物体的温度等

对象(object)、样本(sample)：用一组属性描述，对象也称为记录、点、向量、案例、样本、实体或事件

数据(Data) = 数据对象及其属性的集合

离散属性(Discrete Attribute)：

• 具有有限或无限可数个值，例如：邮政编码、计数
• 通常用整数变量表示（注：二元属性是离散属性的一种特殊情况）

连续属性(Continuous Attribute)：

• 是取实数值的属性，例如：温度、高度或重量
• 实践中，实数值只能用有限的精度测量和表示
• 通常，连续属性用浮点变量表示

3.2：数据集的类型

3.2.1：记录数据

记录数据(Record Data)：数据是记录的汇集，每个记录包含固定的数据字段(属性)集

• 数据矩阵
• 文档数据
• 事务数据

记录数据——数据矩阵(Data Matrix)：

• 如果一个数据集中的所有数据对象都具有相同的数值属性集，则数据对象可看作多维空间中的点，其中每个维代表描述对象的一个不同属性
• 数据对象集可用一个m*n的矩阵表示
  • m表示对象行数，一个对象一行
  • n表示属性列，一个属性一列

记录数据——文档数据(Text Data)

• 每个文档表示为一个向量
  • 文档中的每个单词表示为向量的一个分量（属性）
  • 每个分量的值是对应词在文档中出现的次数
• 每个单词表示为一个向量
  • 向量中的每个分量无物理意义
  • 一个文档表示为一个矩阵
    
    

记录数据——事务数据(Transaction Data)：是一种特殊的记录数据

• 每个记录（事务）涉及一个项的集合
• 例如，一个杂货店。顾客一次购物所购买的商品的集合就构成一个事务，而购买的商品是项

3.2.2：基于图形的数据

基于图形的数据(Graphic Data)

• 万维网
• 分子结构

基于图形的数据——万维网：例如类图和HTML链接

基于图形的数据——分子结构：例如苯分子(C₆H₆)：

3.2.3：有序数据

有序数据(Sequence Data)

• 空间数据
• 时间数据
• 时序数据
• 基因序列数据

有序数据——事务序列：

有序数据——基因序列数据：

有序数据——地理时空数据：

3.3：数据集的特点

• 维度(dimensionality)：超高维
  • 交易数据、Web文档、基因表达数据、文档词频数据、用户评分数据、WEB使用数据及多媒体数据等
• 稀疏性(sparsity)
• 分辨率(resolution)
  • 粒度(granularity)，层次的问题