深度学习-Caffe笔记01

深度学习-第二章

标签（空格分隔）： 机器学习

---

神经网络模型

人工神经网络

人工神经元模型

三个基本要素

1.一组连接（对应生物神经元的突触）连接强度由各连接上的权值表示，权值为正表示激活，为负表示抑制
2.一组求和单元，用于求取各输入信号的加权和（线性组合）
3.一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围内（一般限值在[0,1]或[-1,1]之间。
 

4.阈值 ${\theta }_k$ (或偏置$b_k$ = -${\theta }_k$)
参考：深度学习P16 ，神经元之间的关系

激活函数

激活函数有一下几种
1）阈值函数
$$\varphi (n)=\{\begin{array}{ll}1,& \text{v >= 0}\\ 0,& \text{v < 0}\end{array}$$

即阶梯函数，这时相应的输出为$y_k$为
KaTeX parse error: Expected '}', got '_' at position 34: …} 1, & \text {v_̲k >= 0} \\ 0, &…
其中$v_k$=${\sum }_{j=1}^p{w_k}_j-{\theta }_k$, 常称此种神经元为M-P模型(是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型)

2)分段线性函数
$$\varphi (n)=\{\begin{array}{ll}1,& \text{v >= 1}\\ \frac{1}{2}(1+v),& \text{ -1 < v < 1}\\ 0,& \text{v <=-1}\end{array}$$
它类似于一个放大系数为1的非线性放大器，当工作于线性区时它是一个线性组合器，放大器系数趋于无穷大时它变成一个阈值单元。

3）sigmoid函数
参考：深度学习P17 ，sigmoid函数

2.2BP神经网络

BP网络能学习和存储大量的输入输出模式映射关系，而无须事前揭示描述这种映射关系的数学方程。它的学习规则是使用梯度下降法，通过反向传播不断调整网络的权值和阈值，使网络的误差平方和最小。
BP网络模型拓扑结构包括输入层，隐层和输出层

BP神经元

BP神经网络构成

第一区域相当于外界的刺激， 输入层
第二区 隐藏层
第三区 输出层

正向传播

至此BP网络完成了n维空间向量对m维空间的近似映射

反向传播

输出层权值变化

隐藏层权值变化

卷积神经网络

该优点在网络的输入是多维图像时表现得更为明显，使图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。

卷积神经网络的历史

神经认知机包含两类神经元：
	> 1.承担特征提取的S-元
	涉及两个重要参数，即感受野 和 阈值参数
	前者确定输入连接的数目
	后者则控制对特征自模式的反应程度
	2.抗变形的C-元

卷积神经网络的网络结构

局部感知

参数共享

多卷积核

池化（Pooling）