第五章 神经网络

神经网络

1.基础知识

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络

Perceptron 感知机

感知机只有两层神经元组成，而且只有输出层是M-P神经单元也就是功能神经元

反向传播算法（Back propagation）可以应用于多层前馈神经网络，还可以应用于训练递归神经网络

一般说　BP算法就是训练的多层前馈神经网络．

深度学习的基本名词

卷积神经网络(convolutional neural network CNN)

cnn复合多个　卷积层　和　采样层　来对输入信号进行加工．最终在连接层实现与输出目标之间的映射．

卷积层：包含多个特征映射，每个特征映射是一个由多个神经元构成的平面．

采样层：基于局部相关性原理进行亚采样，减少数据量的同时保留有用信息．

换个角度理解就是　用机器代替原来专家的＂特征工程（feature engineering）＂

神经网络的激活函数

1.logitic:典型的激活函数sigmod函数，在计算分类概率时，非常有用．

$$f(z)=\frac{1}{1+exp(-z)} ,　0<f(z)<1$$

2.Tanh:

$$f(z)=tanh(z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}}　,-1<f(z)<1$$

3.Relu:线性修正函数，函数的主要目的是对抗梯度消失，当梯度反向传播到第一层的时候，梯度容易趋近于０或者一个非常小的值．

$$f(z)=max(0,x)$$

卷积神经网络(CNN)

卷积：就是两个操作在时间维度上的融合．

$$(f\cdot g)(\tau)=\int_{-\infty}^{\infty}f(\tau)g(t-\tau)d\tau$$ 卷积的使用范围可以被延展到离散域，数学表达式为 $$(f\cdot g)\left [ n \right ]=\sum_{m=-\infty}^{\infty} f(m)g(n-m)$$ 卷积运算中最重要的是核函数，利用核函数分别与每个点的乘积再求和．作为下一个层的元素点．

2.思想脉络

根据训练数据集来调整神经元之间的连接权　connection weight ,以及每个功能神经元的阈值．

也就是说，神经网络所学到的东西都在连接权和阈值中．

参数的确定（利用迭代更新）调整感知机（神经网络）的权重．

$\omega_{i}\leftarrow \omega+\Delta \omega_{i}$

$\Delta \omega_{i}=\eta(y-\hat{y}x_{i})$

先将输入事例提供给输入层神经元，逐层将信号进行前传，直到产生输出层的结果

计算输出层的误差，再将误差逆向传播至隐层神经元

最后根据隐层神经元的误差来对连接权和阈值进行调整．并进行迭代循环进行．

3.算法推导

BP算法：

训练集
D={ (x1,y1),(x2,y2