深度学习第二次培训笔记

目录

计算过程：

前向传播：

1计算输入到h1和h2的值：

2.计算h1和h2的值：

3.计算输入到o1和o2的值：

4.计算o1和o2的值：

反向计算：

1计算误差：

2.更新权值

---

感知机结构：

 

BP神经网络：

核心思想：学习过程由信号的正向传播和误差的反向传播两个过程组成

过程示意图：

 

 

隐藏神经元的个数确定：输入层节点数m个，输出层节点数n个，b为1-9的整数，则隐藏层节点数s：

 

计算过程：

前向传播：

 

1计算输入到h1和h2的值：

H1 = w1*i1+w2*i2+b1

H2 = w3*i1+w4*i2+b1

2.计算h1和h2的值：

利用sigmod函数计算：

 

其中x为第一部中计算的输入的值

3.计算输入到o1和o2的值：

O1 = w5*h1+w6*h2+b2

O2 = w7*h1+w8*h2+b2

4.计算o1和o2的值：

利用sigmod函数，同过程2

反向计算：

1计算误差：

即计算实际的输出值和预计输出值之间的方差和，即：

 

2.更新权值

1.计算偏导，以计算w5为例：

 

 

其中：

第一步：

 

第二步：

 

第三步：

 

第四步：将前三步所得数值相乘得到偏导值

2.更新w5的值：

公式：

 

说明：其中η为学习率，学习率需要去得合适的值，数值一般在0.01到0.8。若数值过小则收敛缓慢，降低学习效率；若数值过大则难以收敛，无法取到最优得权值。

3.输入层的权值更新：

1.以w1为例：

公式：

 

第一步：

 

其中：

 

 

第二步：

 

其中：

 

第三步：

 

其中：

 

第四步：

 

将第1到3步中的所得值相乘得到。

2.更新w1的权值：

 

η的说明同上。