深度学习入门之第五章 误差的方向传播

前言： 前面几个章节主要讲了这几件事情，

第一：神经网络如何前向传播

第二：神经网络输出层的设计方案

第三：神经网络怎么判别输出的数据是否符合我们的要求，以及其离我们的要求还差多少？

OK！！！本章之中介绍两件事情：

第一： 我给你一个普通的函数， 你怎么找好函数的最小值，

第二： 在我们使用交叉熵之后得到我们和真实数据之间的差距时，神经网络是如何调整其中的参数，

 

（1） 求的最小值， 其实这就是大学的微分方程，理解起来没有啥问题的，最后他把这个思想也应用到神经网络优化参数之中。

求解的思想就是：首先我在这个函数选择一个坐标点（，）

然后我对进行求偏导 得到在（，）偏导数, 

最后定义一个学习率 ，  每次按照-  * 的方法更新和即可  最后一定能够找到的最小值

 

（2） 神经网络是如何优化参数

我的理解是神经网络优化参数的方式和函数求最小值的过程是一致的，不同点在于两个：

第一：函数坐标点的选区， 神经网络中函数的坐标点（，）  是经过神经网络识经过交叉熵之后的损失值，我们的目标是优化将这个参数最小化

第二：普通的函数中所求的偏导数是根据基本的求导法则就可以了，  但是在神经网络的优化之中是有一个矩阵的偏导。

 

OK！！！！！！接下来通过几段代码解释一下上面的说法   程序是不会骗人的

# 第一个程序 直观展示的空间结构

import matplotlib.pyplot as plt
import numpy as np
from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure()
ax = Axes3D(fig)
X = np.arange(-2, 2, 0.1)
Y = np.arange(-2, 2, 0.1)
'''
X = np.arange(-2, 2, 0.25)
Y = np.arange(-3, 6, 0.25)
'''
# np.meshgrid()中两个参数分别表示X, Y轴的取值范围
#              把X, Y中的数据修改成一下 看一下图像的坐标就可以了
X, Y = np.meshgrid(X, Y)
Z = X**2 + Y**2
ax.plot_surface(X, Y, Z, cmap='rainbow')
plt.show()

结果展示： 这个程序说实在的没啥意思

 

# 第二个程序  反向传播求最值问题

 

 

# 第三个程序梯度法更新神经网络中的参数