DeepLearning神经网络学习笔记（二）[未完待续]

2. 算法类型

机器学习可以根据不同的基准分为不同的类型。一般来说，算法分类是以学习的方法来分类。

说到学习方法，在我学生时代的时候，有的人适合跟着老师教的方法走，有的人适合自己摸索着思考，有的人适合跟同学交流，还有人就等着抄班里同学的答案。

在机器学习领域，我们按照训练样本提供的信息以及反馈方式的不同，将机器学习分为监督学习、无监督学习和强化学习。

2.1 监督学习（Supervised Learning,SL）

监督学习就是有老师在后面那个小教棍鞭打着你学习，老师手里头有答案，你做的对不对老师一眼就能看出来。

如果机器学习的目标是建模样本的特征$x$和标签$y$之间的关系$y=f(x)或p(y|x)$
且每个样本都含有标签的话，那么就叫做监督学习。

根据标签类型的不同，监督学习又可以分为回归问题、分类问题和结构化学习。

• 回归（Regression）
  回归问题中的标签$y$是连续值，这个连续只可以是实数或者是连续整数。当然，$f(x)$的输出也是连续值。
• 分类（Classification）
  • 分类问题中的标签$y$是符号。
  • 学习到的模型也叫做分类器（Classifier）。
  • 根据分类的类别数量又可以分为二值分类（Binary Classification）或者多分类（Multi-class Classification）。
• 结构化学习（Structiured Learning）
  结构化学习中的标签$y$通常是结构化的对象。比如序列、树等。

由于结构化学习的输出空间较大，我们一般定义一个联合特征空间，将$x,y$映射为该空间中的联合特征向量$\varphi (x,y)$。
预测模型为$\hat{y}=argmaxf(\varphi (x,y)),y\in Gen(x)$

其中$Gen(x)$表示输入$x$的所有可能的输出目标集合。计算$argmax$的过程也叫做解码（Decoding）过程，一般通过动态规划的方法来计算。

2.1.1 监督学习的模型

最古老也是最原始的学习方法就是监督学习，可以理解为给一个方程（函数或者是概率问题），然后求方程解。

• 线性模型
  假设空间为一个参数化的线性函数族,那么有

$f(x)=w^{T}x+b$

其中，w为权重向量，b为偏置。

• 非线性模型
  广义的非线性模型可以写为多个非线性基函数$\varphi (x)$的线性组合，那么有

$f(x)=w^T\varphi (x)+b$

其中，

$\varphi (X)=[{\varphi }_1(x),{\varphi }_2(x),...,{\varphi }_i(x),...,{\varphi }_k(x)]$，
$k$表示$\varphi (x)$组成向量的个数

2.1.2 逻辑回归（Logistic Regression,LR）

逻辑回归是一种常用的处理二分类问题的线性模型。为了解决连续的线性函数不适合进行分类的问题，我们引入非线性函数$g$来预测类别标签的后验概率$p(y=1|x)$。

$p(y=1|x)=g(f(x))$
$g$函数通常为激活函数，其作用是把线性函数的值域压缩到（0,1）之间来表示概率。

逻辑回归采用交叉熵作为损失函数，并用梯度下降法来对参数进行优化。

2.1.3 Softmax回归（Softmax Regression,SR）

Softmax回归也称为多项（Multionmial）或多类（Multi-Class）的Logistic回归。

对于多类问题，类别标签 $y\in 1,2,3,...,C$。给定一个样本$x$，Softmax回归预测的条件概率为

$p(y=c|x)=softmax(f(x))$

Softmax回归的激活函数为

$\hat{y}=\arg maxp(y=c|x)$

因为Softmax回归是Logistic回归的变向，所以与Logistic相同，采用交叉熵作为损失函数，并用梯度下降法来对参数进行优化。

2.1.4 支持向量机（Support Vector Machine,SVM）

支持向量机是一个经典的二分类算法，其找到的分割超平面具有更好的鲁棒性。给定一个二分类器数据集$D,y^{(n)}\in +1,-1$,如果两类样本是线性可分的，既存在一个超平面

$w^T+b=0$

数据$D$中每个样本$x$到分割超平面的距离为

$\gamma =\frac{|w^{T}x+b|}{||w||}=\frac{y^{(n)}(w^{T}x+b)}{||w||}$

2.2 无监督学习（Unsupervised Learning,UL）

与老师手把手的教你写字学习不同，无监督学习就纯粹属于是自学了。这个概念是指从不包含目标标签的训练样本中自动学习到一些有价值的信息。

比较典型的无监督学习问题有聚类、概率密度估计、无监督特征学习、降维等。

2.2.1 无监督特征学习

无监督特征学习主要方法有主成分分析、稀疏编码、自编码器等。

• 主成分分析（Principal Component Analysis,PCA）
  主成分分析是一种最常用的数据降维方法，它的原理就是将$D$维的数据投影到一维空间中去，选择数据方差最大的方向进行投影，最大化数据的差异性，得以保留更多的原始信息。
  那具体怎么操作呢？
  我们把刚才$D$维的样本写作$x^{(n)}$，投影到一维空间的投影向量为$w$。
  限制$w$的模为1，即$w^{T}w=1$。那么，每个样本投影之后的表示为$z$。

$z^{(n)}=w^T{x}^{(n)}$

既然要求方差，那我们就先表示出来样本的中间值

$\bar{x}=\frac{1}{N}{\sum }_{n=1}^N{x}^{(n)}$

样本投影后的方差为

$\sigma =\frac{1}{N}{\sum }_{n=1}^N(w^T{x}^{(n)}-w^T\bar{x}{)}^2$

• 稀疏编码
• 自编码器
• 稀疏自编码器
• 堆叠自编码器
• 降噪自编码器

2.2.2 概率密度估计

概率密度估计简称密度估计（Density Estimation），是基于一些观测样本来估计一个随机变量的概率密度函数。

密度估计方法可分为两类：参数密度估计和非参数密度估计。

• 参数密度估计
• 非参数密度估计

2.3 强化学习（Reinforcement Learning,RL）

强化学习这个词听上去就好像属于上学时候那些每天拼命刷题的好学生，其实是一类通过交互来学习的算法。在强化学习中，智能体根据环境的状态做出一个动作，并得到及时或延时的奖励。智能体在和环境的交互中不断学习并调整策略，以取得最大化的期望总汇报。