机器学习概念辨析

在刚入门机器学习的时候，对机器学习的各种概念不是很清楚，比如不清楚强化学习、神经网络和机器学习之间的关系。
下面参考刘铁岩《分布式机器学习》的内容，以及一些网络上收集的资料，进行一个概念的梳理，以求理清楚机器学习各个组成部分的关系

机器学习的定义：通常认为，机器学习就是在用计算的方法模拟人的学习过程-从过往的经验（数据）中获取规律，并且将其应用到新的类似的场景中

下面从多个维度，对机器学习问题进行梳理

1.从学习目标的角度
从学习目标的角度，机器学习大体可分为回归、分类、排序、有结构预测等类别。这些类别的主要差异在于机器学习模型的输出格式，以及如何衡量输出的准确程度

• 在回归问题里，模型的输出一般是一个连续的标量，人们通常用模型输出与真值之间的最小平方误差等手段来衡量模型的精确程度。
• 在分类问题里，模型的输出是一个或多个类别标签，人们通常使用0-1误差及其损失函数（如交叉熵、Hinge函数、指数函数等）来衡量模型的准确程度。
• 在排序问题里，模型的输出是一个经过排序的对象列表，人们常用序对级别（pairwise）或列表级别（listwise）的损失函数来衡量模型的准确程度
• 在更加通用的有结构预测问题中，则需要具体问题具体分析，利用领域知识定义合适的输出格式和模型准确程度判别准则。

2.从训练数据特性的角度
从训练数据特性的角度看，机器学习可以大体分为有监督学习，半监督学习，无监督学习，弱监督学习等类别。

• 有监督学习，指的是每个训练数据都拥有标签。这样一来，每个训练样本上都可以精确地计算损失，并且根据损失对模型进行优化。
  （对于数据需求量极大的机器学习方法来说，有监督学习的成本较高，受标签的质量影响较大，但在大量的数据输入的情况下，对标签错误的鲁棒性也较高）
• 半监督学习，指的是训练集里面同时存在有标签数据和无标签数据。通常来说，人们需要对无标签数据进行一些预处理（比如根据它们和有标签数据的相似性来预测其伪标签，或者计算它们彼此之间的相似性以获取整个数据集分布的先验知识），然后用它们来协助原有的训练过程（比如把伪标签当作真实标签使用，或者把数据集分布作为正则项来增强模型的泛化能力）。
• 无监督学习处理的数据全部都是无标签的。学习的目的是从数据中发现关联规则，或者利用数据在输入空间中的相互关系（如相似性，距离，偏序关系等）对数据进行聚类和影响力排序。
• 弱监督学习中存在某种形式的奖励信号，该信号可以用于模型训练，但是没有样本标签那么直接、完全、确切、或者准确。强化学习是一类典型的弱监督学习问题，它无需依赖预先给定的离线训练数据，而是通过与环境的试探性交互来学习。具体的说学习机制通过选择并执行某些动作，导致环境状态变化，并得到来自环境的奖励信号。学习的目标是寻找一个合适的动作选择策略，使得产生的动作序列获得最优的累计奖励

3.从模型复杂程度的角度
从模型复杂程度的角度，机器学习可以分为线性模型与非线性模型（或浅层模型与深层模型）

• 线性模型包括线性回归、逻辑回归、线性支持向量机等。这些模型可以通过核化来进行非线性变换，从而获得更加强大的表达能力。
• 非线性模型包括决策树、深层神经网络（如全连接神经网络，循环神经网络、卷积神经网络等）。它们具有很强的表达能力，能够很好的拟合训练数据。

4.从模型的功能角度
从模型的功能角度，机器学习可以划分为生成模型和判别模型。

• 生成模型在学习过程中通常以最大化训练数据的似然为目的，关注的是输入样本和标签的联合概率分布。生成模型所学习的概率分布比较复杂，但是适用的场景很丰富，也可以实现概率密度估计或样本的随机生成。（如朴素贝叶斯、隐马尔可夫模型、高斯混合模型、限制玻尔兹曼机）
• 判别模型通常最大化的是条件似然，也就是关注在给定输入样本的前提下，标签的条件概率。判别模型单刀直入，解决的是一个判别问题，不需要对联合分布做不必要的刻画，学习效率比较高，但是适用场景也因此受到一定程度上的限制。（K近邻、SVM、决策树、感知机、线性回归、boosting、条件随机场）

对生成模型和判别模型的进一步解释

• 生成模型是已知样本的标签值y，对样本的特征向量x的条件概率进行建模，即对条件概率p(x|y）建模，它研究的是每种样本服从什么样特征的概率分布。
• 判别模型则相反，已知样本的特征向量x，对样本的标签值y的概率进行建模，即对条件概率p(y|x)进行建模，它研究的是给定样本x，计算它属于每个类别y的概率。

直觉上理解，以猫狗图片分类任务为例：
判别模型学习到的是如何通过一系列从图片中提取到的特征（小耳朵，细长的瞳孔），来判断一张图片是猫还是狗。
而生成模型则是从数据中学习到猫和狗应该具有哪些特征，随后比较是猫还是狗更可能生成我们实际从图像中获取到的特征（小耳朵，细长的瞳孔），再将其归类为符合条件的类。