从感知机开始的神经网络学习（感知机--＞神经网络 --＞BP神经网络 --＞ 卷积神经网络）

感知机+激活函数+好几层 = 神经网络
神经网络+反向更新 = BP神经网络
BP神经网络+特征提取部分 + 分类器= 卷积神经网络

感知机

目的

将线性可分的数据集分为两类。

设数据集标签值$y_i=+-1$ ，最终求出一个超平面$S:wx+b=0$ 满足$y_i(w{x}_i+b)>0$

原理

• 定义损失函数：误分类点到超平面的距离和

  使用距离和的目的：使损失函数为$(w,b)$ 的连续可导函数—> 便于使用梯度下降法

  损失函数进化：
  $$\frac{1}{\Vert w\Vert }\sum _{i误分类}|w\bullet x_i+b|$$
  对于误分类的点，由于$-y_i(w\bullet x_i+b)>0$ ，故可以去掉绝对值表示为
  $$\frac{1}{\Vert w\Vert }\sum _{i误分类}{y}_i(w{x}_i+b)$$
  由于$\Vert w\Vert$ 的值并不影响$y_i(w{x}_i+b)$ 正负的判断，故最后的损失函数为：
  $$L(w,b)=-\sum _{i误分类}{y}_i(w{x}_i+b)$$

• 设置一个初始值，由梯度下降法逐步逼近解

  梯度下降法

  • 利用梯度找到函数下降最快的方向，单维中梯度即为斜率，多维中梯度为偏导数组合成的一个向量，感知机模型有两维 ：$w,b$

  • 下降值由学习率/步长 $\eta$ 决定，即
    $$\begin{gathered} w⟸w+\eta y_i{x}_i \\ b⟸b+\eta y_i \end{gathered}$$
    学习率过高，容易错过最低点，学习率过低，算法效率降低

  • 对于某个超平面，可能有多个误分类点，每次随机选择一个误分类点使其梯度下降

两种形式

原始

算法流程：

（1） 选取初值$w_0,b_0$

（2） 如果没有误分类点$y_i(w\bullet x_i+b)\le 0$，结束算法，否则随机选择一个误分类点，令
$$\begin{gathered} w⟸w+\eta y_i{x}_i \\ b⟸b+\eta y_i \end{gathered}$$
算法缺点：寻找误分类点的时候要做多次内积，不适用于维度过高的数据

对偶

为了避免原始算法中计算内积的现象，对$w,b$ 的表达式做进一步修改。

由原始算法可得，最终$w$ 为$x_i{y}_i$ 的线性组合，$b$ 为$y_i$ 的线性组合，令$n_i$ 表示第$i$数据作为误分类点更新模型的次数，$a_i=n_i\eta$ ，则$w,b$
$$\begin{gathered} w=\sum _{i=1}^N{a}_i{y}_i{x}_i \\ b=\sum _{i=1}^N{a}_i{y}_i \end{gathered}$$

算法流程：

（0）预先计算内积矩阵
$$G=[x_i\bullet x_j{]}_{N\times N}$$

（1） 选取初值$w_0,b_0$

（2） 如果没有误分类点$y_i({\sum }_{j=1}^N{a}_j{y}_j{x}_j\bullet x_i+b)\le 0$，结束算法，否则随机选择一个误分类点，令
$$\begin{gathered} a_i⟸a_i+\eta \\ b⟸b+\eta y_i \end{gathered}$$
算法缺点：寻找误分类点时需要遍历样本集计算$w$，不适用于样本集过大的数据

感知机到神经网络

神经网络基本单元：

神经网络(由多个基本单元组成)：

神经网络的反向更新(BP)

基于梯度下降法进行更新

输出为$\widehat{y_j}=f({\beta }_j-{\theta }_j)$

损失函数一般设置为:（$\frac{1}{2}$是为了后面求导的便利）
$$E_k=\frac{1}{2}\sum _{j=1}^l(\widehat{y_j^k}-y_j^k{)}^2$$
反向更新中需要更新的参数为：各层之间的权值和阈值，更新公式为:
$$\begin{gathered} v=v+\Delta v \\ \Delta v=-\eta \frac{\partial E}{\partial v} \end{gathered}$$

卷积神经网络CNN

CNN结构：特征提取+分类识别

卷积：提取特征

激活函数：使得网络具有非线性特征

池化：进一步提取特征，同时缩小矩阵大小

全连接层：普通神经网络，进行分类

卷积层

特征提取，可以有多个卷积核，提取多个特征

1. 填充padding，我们卷积的时候，为了可以更好的识别边缘，一般都会在输入矩阵在周围加上若干圈的0再进行卷积，加多少圈则P为多少。
2. 步幅，即在卷积过程中每次移动的像素距离大小。
   

池化层

主要有取最大值和取平均值两种

常用分类器：softmax

将多分类结果以概率形式表现，概率需要满足：非负，相加为一