深度学习1：线性分类与感知机

线性分类与感知机

线性回归

线性回归定义：

利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

例如下图中对房屋面积和售价之间的关系进行分析，蓝色为数据点，回归得到的红色直线可表示定量关系。

线性回归要素

1. 输入数据，一般称为x
2. 输出数据，一般称为y
3. 模型，拟合得到的函数
4. 训练数据条目数，输入数据的维度（特征个数）

学习过程

扩展问题

1. 假设和n个因素有关
   $$y=h_{\theta }\left(x\right)={\theta }^{T}x$$
   其中
   $$\begin{gathered} \theta ={\left[{\theta }_1,{\theta }_2,\cdots {\theta }_n\right]}^T \\ x={\left[x_1,x_2,\cdots x_n\right]}^T \end{gathered}$$
2. 根据给定样本$\left(x^{\left(i\right)},y^{\left(i\right)}\right)$构造代价函数
   $$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-h_{\theta }\left(x^{\left(i\right)}\right)\right)}^2$$
3. 意图求得参数$\theta$使得$J(\theta )$最小
   $$\frac{\partial J\left(\theta \right)}{\partial \theta }=0⟹\theta ={\left(X^{T}X\right)}^{-1}{X}^{T}Y$$
   其中
   $$X=\left[\begin{array}{c}{\left(x^{\left(1\right)}\right)}^T\\ {\left(x^{\left(2\right)}\right)}^T\\ \cdots \\ {\left(x^{\left(N\right)}\right)}^T\end{array}\right],Y=\left[\begin{array}{c}{\left(y^{\left(1\right)}\right)}^T\\ {\left(y^{\left(2\right)}\right)}^T\\ \cdots \\ {\left(y^{\left(N\right)}\right)}^T\end{array}\right]$$

线性二分类问题

线性分类

线性分类的定义

线性分类器通过特征的线性组合来对样本做出分类决定。简言之，样本通过直线(或超平面)可分。

线性分类输入输出

输入为特征向量；若为二分类问题，则输出为0和1，或由概率表示，即0-1间的数。

线性分类过程

以二分类为例，目的是根据给定数据构造二分类的“分界线”，在线的两边分别为正负值，属于这类概率越大，值越大（正），反之越小（负）。

1. 对给定样本$\left(x^{\left(i\right)},y^{\left(i\right)}\right)$，其中$y^{\left(i\right)}$只能取0和1。构造代价函数
   $$J\left(\theta \right)=\frac{1}{2}\sum _{i=1}^m{\left(y^{\left(i\right)}-h_{\theta }\left(x^{\left(i\right)}\right)\right)}^2$$
2. 求得值可能不在0-1内，但需要得到概率，故须对值进行变换，一般使用$Sigmoid$函数$y=\frac{1}{1+e^{-z}}$，其中$z={\theta }^T{x}^{\left(i\right)}$，相应的代价函数中应写为$h_{\theta }\left(x^{\left(i\right)}\right)=\frac{1}{1+e^{-{\theta }^T{x}^{\left(i\right)}}}$
3. 求得参数$\theta$使得$J(\theta )$最小

梯度下降法

回归和分类都需计算$\frac{\partial J\left(\theta \right)}{\partial \theta }=0$，但是$J(\theta )$非线性，为求解带来了障碍。因此需要使用迭代法计算，构建序列${\theta }_1,{\theta }_2,\cdots$,直到计算出满足要求的${\theta }^{\ast }$,一般使用梯度下降法。
$$\begin{gathered} {\theta }_{k+1}={\theta }_k+\Delta {\theta }_k \\ J\left({\theta }_{k+1}\right)=J\left({\theta }_k\right)+{\left[\frac{dJ}{d\theta }\right]}^T\Delta {\theta }_k \end{gathered}$$
为使$J\left({\theta }_{k+1}\right)⩽J\left({\theta }_k\right)$，此处选择$\Delta {\theta }_k=-\alpha {\nabla }_{\theta }J$，其中$ \alpha$是一个参数。

对数回归与多分类回归

指数回归

使用条件概率描述二分类问题
$$\begin{gathered} P\left(y^{\left(i\right)}=1|x^{\left(i\right)},\theta \right)=h_{\theta }\left(x^{\left(i\right)}\right) \\ P\left(y^{\left(i\right)}=0|x^{\left(i\right)},\theta \right)=1-h_{\theta }\left(x^{\left(i\right)}\right) \end{gathered}$$
统一记为
$$P\left(y^{\left(i\right)}|x^{\left(i\right)},\theta \right)={\left(h_{\theta }\left(x^{\left(i\right)}\right)\right)}^{y^{\left(i\right)}}{\left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)}^{1-y^{\left(i\right)}}$$
这里可取代价函数为
$$J\left(\theta \right)=-\sum \left(y^{\left(i\right)}\log \left(h_{\theta }\left(x^{\left(i\right)}\right)\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\right)$$
使用极大似然估计可以得到上面的代价函数
$$\begin{gathered} L\left(\theta \right)=\prod _{i=1}^{m}p\left(y^{\left(i\right)}|x^{\left(i\right)},\theta \right) \\ l\left(\theta \right)=\log L\left(\theta \right)=\sum \left(y^{\left(i\right)}\log \left(h_{\theta }\left(x^{\left(i\right)}\right)\right)+\left(1-y^{\left(i\right)}\right)\log \left(1-h_{\theta }\left(x^{\left(i\right)}\right)\right)\right) \end{gathered}$$
对比可知概率最大时即为上边的代价函数最小。

多分类回归

对$k$个标记分类问题，需要多个分割超平面。这里给出公式

分类函数及参数：
$$\begin{gathered} h_{\theta }\left(x^{\left(i\right)}\right)=\left[\begin{array}{c}P\left(y^{\left(i\right)}=1|x^{\left(i\right)},\theta \right)\\ P\left(y^{\left(i\right)}=2|x^{\left(i\right)},\theta \right)\\ ⋮\\ P\left(y^{\left(i\right)}=k|x^{\left(i\right)},\theta \right)\end{array}\right]=\frac{1}{{\sum }_{c=1}^k{e}^{{\theta }_c^T{x}^{\left(i\right)}}}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^{\left(i\right)}}\\ e^{{\theta }_2^T{x}^{\left(i\right)}}\\ ⋮\\ e^{{\theta }_k^T{x}^{\left(i\right)}}\end{array}\right] \\ \theta =\left[\begin{array}{c}{\theta }_1^T\\ {\theta }_2^T\\ ⋮\\ {\theta }_k^T\end{array}\right] \end{gathered}$$
代价函数及梯度
$$\begin{gathered} J\left(\theta \right)=-\left[\sum _{i=1}^m\sum _{k=1}^{K}1\left\{y^{\left(i\right)}=k\right\}\log \frac{\exp \left({\theta }^{\left(k\right)T}{x}^{\left(i\right)}\right)}{{\sum }_{j=1}^K\exp \left({\theta }^{\left(j\right)T}{x}^{\left(i\right)}\right)}\right]=-\sum _{j=1}^K{y}_j\log {\hat{y}}_j \\ {\nabla }_{{\theta }^{\left(k\right)}}J=-\sum _{i=1}^m\left[x^{\left(i\right)}\left(1\left\{y^{\left(i\right)}=k\right\}-P\left(y^{\left(i\right)}=k|x^{\left(i\right)},\theta \right)\right)\right] \end{gathered}$$
该方法又称$Softmax$

神经元模型

神经元模型

1. 生物神经元 (Spiking模型)：
   多个前神经元给出脉冲，经过加权传递，一个后神经元接受一定的脉冲后向后发出脉冲。
2. 生物神经元：Integrate-and-fire模型：
   结构与上面类似，但神经元间传递的信号在神经元上被积分。
3. 人工神经元模型: M-P模型：
   同样是一个神经元接收多个神经元信号，经过加权求和和激发函数后发出信号。
4. 单神经元模型：
   接收信号加权求和得到$z$,再经过激发函数得到$y$,$y$的取值为0或1。
   $$\begin{gathered} z=\sum _{j=1}^n{w}_j{x}_j-\theta =W^{T}X \\ y=f\left(z\right) \end{gathered}$$

作用函数

1. 非对称型$Sigmoid$函数$(LogSigmoid)$
   

2. 对称型$Sigmoid$函数$(TangentSigmoid)$
   

3. 对称型阶跃函数
   

$Hebb$规则

连接权值的调整量与输入与输出的乘积成正比

感知机模型

感知机原理

感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础。用于解决线性分类问题。
有一直线$ax+by+c=0$,任一点坐标$\left(x_0,y_0\right)$到直线距离：
$$d=\frac{a{x}_0+b{y}_0+c}{\sqrt{a^2+b^2}}$$
高维情况下
$$d=\frac{w^{T}x}{\Vert w\Vert }$$

感知机模型

1. 输入到输出
   $$y=f\left(x\right)=sign\left(w^{T}x\right)$$
2. 代价函数
   考虑到
   

故可选择代价函数为
$$L\left(w\right)=-\frac{1}{\Vert w\Vert }\sum y^{\left(i\right)}\left(w^T{x}^{\left(i\right)}\right)$$
3. 当检测到误分类点时更新权值
$$w_{k+1}=w_k+\eta y^{\left(i\right)}{x}^{\left(i\right)}$$