神经网络与深度学习-线性分类与感知机

1. 线性回归

定义： 利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

举例： 房屋销售价钱与面积的关系

可以用一条曲线尽量准的拟合这些数据

线性回归要素：

• 输入数据：训练集(training set)或者训练数据(training data)
• 输出数据
• 模型：又称假设或拟合的函数

学习过程：

线性回归的一般形式：

输入数据为：$x=[x_1,x_2,\cdots x_n{]}^T$

参数为：$\theta =[{\theta }_1,{\theta }_2,\cdots {\theta }_n{]}^T$

则输出为：$y=h_{\theta }(x)={\theta }^{T}x$

给定样本：$(x^{(i)},y^{(i)})$

则可以构造代价（误差、损失）函数（二次型形式）：$J(\theta )=\frac{1}{2}{\sum }_{i=1}^m(y^{(i)}-h_{\theta }(x^{(i)}){)}^2$

目标：找到超平面参数$\theta$，使得$J(\theta )$最小，及求解$\underset{\theta }{\min }J(\theta )$

对$J(\theta )$求导，令：$\frac{\partial J(\theta )}{\partial \theta }=0$

及可以得到：$\theta =(X^{T}X{)}^{-1}{X}^{T}y$

其中：

$$x=\left[\begin{array}{c}(x^{(1)}{)}^T\\ (x^{(2)}{)}^T\\ \cdots \\ (x^{(N)}{)}^T\end{array}\right],y=\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ \cdots \\ y^{(N)}\end{array}\right]$$

2. 线性二分类问题

2.1. 线性分类

线性分类定义： 线性分类器则透过特征的性组合来做出分类决定，以达到此种目的。简之，样本通过直线(或超平面)可分

举例： 苹果分类，有两个特征：

• 横轴是苹果的直径
• 纵轴是苹果外观评价

线性分类器输入： 特征向量

线性分类器输出： 所属类别或概率

线性分类与线性回归差别：

• 输出意义不同： 属于某类的概率<->回归具体值
• 参数意义不同： 最佳分类直线<->最佳拟合直线
• 维度不同： 前面的例子中，一个是一维的归，一个是二维的分类

线性分类思路： 构造分类的分界超平面，以二分类为例，则为”分界直线“。令直线的一侧为正值，另一侧为负值。因此考虑带入直线方程的值。

Sigmoid函数： 由于我们最终需要概率，结果在0-1之间，因此需要对值做一个变换：
$$y=\frac{1}{1+e^{-z}}$$其中：$z={\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_0$
性质：$y^{\prime }=y(1-y)$

代价（误差）函数：
$$J(\theta )=\frac{1}{2}{\Sigma }_{i=1}^N(y^{(i)}-h_{\theta }(x^{(i)}){)}^2$$$$h_{\theta }(x^{(i)})=\frac{1}{1+e^{-{\theta }^T{x}^{(i)}}}$$其中：$(x^{(i)},y^{(i)})$为给定样本， y ( i ) ∈ { 0 , 1 } \pmb{y^{(i)}} \in\{0,1\} y(i)∈{0,1}

说明：上述和回归方程一致，仅加入S函数，因此又称为softmax回归

目标： 找到超平面参数$\theta$，使得$J(\theta )$最小，即求解$\underset{\theta }{\min }J(\theta )$

2.2. 梯度下降法

问题： 按照线性回归的思路，令：$\frac{\partial J(\theta )}{d\theta }=0$，但是$J$变为非线性。

解决： 采用迭代的方法，构造序列${\theta }_1，{\theta }_2，\cdots {\theta }_k\to {\theta }^{\ast }$使得$J(\theta )\to 0$，其中最简单的方式为：${\theta }_{k+1}={\theta }_k+\Delta {\theta }_k$

最简单的方式： $$J({\theta }_{k+1})=j({\theta }_k)+{\left[\frac{dJ}{d\theta }\right]}^T\Delta {\theta }_k$$
其中：
$$\Delta {\theta }_k=-\alpha \frac{dJ}{d\theta }=-\alpha {\nabla }_{\theta }J$$
此时可以满足：$J({\theta }_{k+1})\le J({\theta }_k)$

3. 对数回归与多分类回归

3.1 指数回归

3.2 多分类回归

对于有$k$个标记的分类问题，分类函数如下：
$$h_{\theta }(x^{(i)})=\left[\begin{array}{c}p(y^{(i)}=1|x^{(i)},\theta )\\ p(y^{(i)}=2|x^{(i)},\theta )\\ \cdots \\ p(y^{(i)}=k|x^{(i)},\theta )\end{array}\right]=\frac{1}{{\sum }_{c=1}^k{e}^{{\theta }_c^T{x}^{(i)}}}\left[\begin{array}{c}{e}^{{\theta }_1^T{x}^{(i)}}\\ e^{{\theta }_2^T{x}^{(i)}}\\ \cdots \\ e^{{\theta }_k^T{x}^{(i)}}\end{array}\right]$$

因为是多分类，所以需要多个分割超平面，因此有：
$$\theta =\left[\begin{array}{c}{\theta }_1^T\\ {\theta }_2^T\\ \cdots \\ {\theta }_k^T\end{array}\right]$$
取代价函数：
J ( θ ) = − [ ∑ i = 1 m ∑ k = 1 K 1 { y ( i ) = k } l o g e x p ( θ ( k ) T x ( i ) ) ∑ j = 1 K e x p ( θ ( j ) T x ( i ) ) ] J(\theta)=-\left[\sum\limits^m_{i=1}\sum\limits^K_{k=1}1\{y^{(i)}=k\}log\frac{exp(\theta^{(k)T}x^{(i)})}{\sum^K_{j=1}exp(\theta^{(j)T}x^{(i)})}\right] J(θ)=−[i=1∑m​k=1∑K​1{y(i)=k}log∑j=1K​exp(θ(j)Tx(i))exp(θ(k)Tx(i))​]

对应梯度：
∇ θ ( k ) J ( θ ) = − ∑ i = 1 m [ x ( i ) ( 1 { y ( i ) = k } − P ( y ( i ) = k ∣ x ( i ) ; θ ) ) ] \nabla_\theta(k)J(\theta)=-\sum\limits_{i=1}^m\left[x^{(i)}(1\{y^{(i)}=k\}-P(y^{(i)}=k|x^{(i)};\theta))\right] ∇θ​(k)J(θ)=−i=1∑m​[x(i)(1{y(i)=k}−P(y(i)=k∣x(i);θ))]

这种方式又称为Softmax

前面的代价函数可简写为：
$$l\left(y,\hat{y}\right)=-\sum _{j=1}^n{y}_{j}log{\hat{y}}_j$$
称为交叉熵损失（对比信息熵的定义：$H(X)=-{\Sigma }_{i=1}^{K}p(x_i)log(p(x_i))$）

Softmax演示：
·

4. 神经元模型

4.1. 神经元模型

生物神经网络：

生物神经元：

生物神经元(Spiking模型)：

生物神经元(Integrate-and-fire模型)：

人工神经元模型: M-P模型： 1943年心理学家W.McCulloch和数学家W.Pitts合作提出

单神经元模型：

$$y=f\left(\sum _{j=1}^n{w}_j{x}_j-\theta \right)$$

$$f(x)=\{\begin{array}{rl}1,x& \ge 0\\ 0,x& <0\end{array}$$

4.2. 作用函数

4.2.1. 非对称型Sigmoid函数（Log Sigmoid）

简称S型作用函数，是可微的，图(a)、(b)，用下式表示：

4.2.2. 对称型Sigmoid函数（Tangent Sigmoid）

是可微的，图©、(d)，用下式表示：

4.2.3. 对称型阶跃函数

$$f(x)=\{\begin{array}{rl}+1x& \ge 0\\ -1x& \le 0\end{array}$$即具有阶跃作用函数的神经元，称为阈值逻辑单元

4.3 Hebb规则

连接权值的调整量与输入与输出的乘积成正比：$\Delta w=\alpha \cdot x\cdot y$

5. 感知机模型

5.1. 感知机原理

感知机简介： 感知机(Perceptron)是1957年，由Rosenblatt提出，是神经网络和支持向量机的基础，可用于解决线性分类问题

公式中的直线方程为$ax+by+c=0$，假设任一点的坐标为$(x_0,y_0)$，到直线的距离为：
$$d=\frac{a{x}_0+b{y}_0+c}{\sqrt{a^2+b^2}}$$如果是高维情况，分类面为超平面，则有：$$d=\frac{w^{T}x}{||w||}$$其中$w_0=b$

5.2. 感知机模型

感知机从输入到输出的模型如下：$$y=f(x)=sign(w^{T}x)$$其中$sign$为符号函数：$$sign(x)=\{\begin{array}{rl}-1x& <0\\ 1x& \ge 0\end{array}$$

对于样本$(x^{(i)},y^{(i)})$，注意到，如果样本正确分类，则有：
$$sign(x)=\{\begin{array}{rl}\frac{y^{(i)}(w^T{x}^{(i)})}{||w||}>0& 正确分类样本\\ \frac{y^{(i)}(w^T{x}^{(i)})}{||w||}<0& 错误分类样本\end{array}$$

因此可定义损失函数如下：$$L(w)=-\frac{1}{||w||}\sum y^{(i)}(w^T{x}^{(i)})$$我们需要找到超平面参数$w^{\ast }$满足：$$L(w^{\ast })=\underset{w}{\min }\sum y^{(i)}(w^T{x}^{(i)})$$

输入： 训练数据集 { x ( i ) , y ( i ) } \{x^{(i)},y^{(i)}\} {x(i),y(i)}（监督学习）
输出： $w$
步骤：

1. 赋初值$w_0$，数据序号$i=1$，迭代次数$k=0$
2. 选择数据点$(x^{(i)},y^{(i)})$
3. 判断该数据点是否为当前模型的误分类点，即判断若$y^{(i)}(w^T{x}^{(i)}\le 0)$，则更新权值（与Hebb规则相同）：$$w_{k+1}=w_k+\eta y^{(i)}{x}^{(i)}$$
4. 转到2，直到训练集中没有误分类点

5.3. 训练过程

线性可分参数迭代过程：

线性不可分参数迭代过程：

5.4. 感知机与神经元模型类比

具有完全相同的形式：

5.2. 感知机模型

6. 总结

目标定位： 常用的定位方法有边界框定位和特征点定位；同时，定位问题与分类问题的区别无非在神经网络的输出环节多输出了几个数字用于传达更多的信息。
目标检测： 常用的方法有滑动窗口算法和YOLO算法。YOLO算法改善了滑动窗口边界框定位不准的问题，同时运算效率高，甚至可用于实时检测。