学习笔记之机器学习及监督学习概论

机器学习特点：1、机器学习以计算机及网络为平台，是建立在计算机及网络上的

        2、机器学习以数据为研究对象，是数据驱动的学科

       3、机器学习目的是对数据进行预测与分析

      4、机器学习以方法为中心，机器学习方法构建模型并应用模型进行预测与分析

      5、机器学习是概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科，并且在发展中逐步形成的独自的理论体系与方法论。

机器学习的对象是数据，它从数据出发，提取数据的特征，抽象出数据的模型，发现数据中的知识，又回到数据的分析与预测中去。

机器学习的目的考虑学习什么样的模型和如何学习模型，以使模型能对数据进行准确的预测与分析，同时也要考虑尽可能地提高学习效率。

机器学习的方法=模型+策略+算法

机器学习的方法的步骤：

1、得到一个有限的训练数据集合

2、确定包含所有可能的模型的假设空间，即学习模型的集合。

3、确定模型选择的准则，即学习的策略

4、实现求解最优模型的算法，即学习的算法

5、通过学习方法选择最优模型

6、利用学习的最优模型对新数据进行预测或分析。

机器学习的分类

基本分类

监督学习：是指从标注数据中学习预测模型的机器学习问题，标注数据表示输入输出的对应关系，预测模型对给定的输入产生相应的输出。本质是学习输入到输出的映射的统计规律。

无监督学习：是指从无标注数据中学习预测模型的机器学习问题，无标注数据是自然得到的数据，预测模型表示数据的类别，转换或概率。本质是学习数据中的统计规律或潜在结构。

强化学习：是指智能系统在与环境的连续互动中学习最优行为策略的机器学习的问题。本质是学习最优的序贯决策。

半监督学习：是指利用标注数据和未标注数据学习预测模型的机器学习问题，

主动学习:是指机器不断主动给出实例让教师进行标注，然后利用标注数据学习预测模型的机器学习问题。

按模型分类

概率模型与非概率模型

概率模型：概率模型去条件概率分布形式P(y|x),决策树、朴素贝叶斯、隐马尔可夫模型、条件随机场、概率潜在语义分析、潜在狄利克雷分布、高斯混合模型、AdaBoost

非概率模型：非概率模型取函数形式y=f(x)，感知机、支持向量机,K近邻，K均值，潜在语义分析，神经网络

条件概率分布最大化得到函数，函数归一化得到条件概率

线性模型与非线性模型

参数化模型与非参数化模型。

按算法分类

在线学习是指每次接收一个样本，进行预测，之后学习模型，并不断重复改操作的机器学习

批量学习是指一次接收所有数据，学习模型，之后进行预测，

按技巧分类

贝叶斯学习又称贝叶斯推理，主要想法是：在概率模型的学习和推理中，利用贝叶斯定理，计算在给定数据条件下模型的条件概率，即后验概率，并应用这个原理进行模型的估计，以及对数据的预测，

核技巧是使用核函数表示和学习非线性模型的一种机器学习方法

机器学习三要素

方法=模型+策略+算法

损失函数度量模型一次预测的好坏，风险函数度量平均意义下模型预测的好还

常用的损失函数：

0-1损失函数

平方损失函数

绝对损失函数

对数损失函数

损失函数值越小，模型就越好。

经验风险最小化与结构风险最小化

经验风险最小化求最优模型是求解最优化模型

结构风险最小化是为了防止过拟合提出来的策略，等价于正则化；

正则化

是指机器学习汇总经常会在损失函数中加入正则项

目的：防止模型过拟合过

原理：在损失函数上加上某些规则（限制），缩小解空间，从而减少求出拟合的可能性

交叉验证法：又称K折交叉验证，K最常用的是10，先将数据集D划分为K个大小相似的互斥子集，即D=D1 UD2….U DK,每个子集Di都尽可能保持数据分布的一致性，即从D中通过分层采样得到，然后，每次利用K-1个子集的并集作为训练集，余下的那个子集作为测试集；这样就可会得K组训练/测试集，从而可进行K次训练和测试，最终返回的是这K个测试结果的均值，显然，交叉验证评估结果的稳定性和保真性在很大程度上取决于K 的取值,。适用于初始数据量足够大时与留出法相似，将数据集D划分为K个子集同样存在多种划分方式，为了减少因样本划分不同而引入的差别，K折交叉验证通常使用不太的划分重复P次，最终的结果是这P次K折交叉验证结果的均值。例如10次10折交叉验证。

泛化能力：是指该方法学习到的模型对未知数据的预测能力，

泛化误差：如果学到的模型是F，那么用这个未知数据预测的误差，反映了学习方法的泛化能力

泛化误差上届：1、它是样本容量的函数，当样本容量增加是，泛化误差趋于0 2、它是假设空间容量的哈数，假设空间容量越大，模型就难学。