本文详细介绍了深度学习的数学基础，包括一次函数、sigmoid函数、导数计算、矩阵运算及其在神经网络中的应用。同时阐述了计算图的概念，以及前向传播和反向传播的过程。此外，还讲解了神经网络的基础知识，如神经元结构、权重初始化、激活函数、损失函数以及过拟合的处理。重点讨论了反向传播中梯度计算的链式法则，并通过实例展示了如何手推计算神经网络参数的梯度。
一.深度学习的一些数学基础
1.神经网络所需要的函数
①一次函数
在深度学习中一次函数十分重要，在神经网络中神经单元的加权输入可以表示为一次函数关系,在反向传播算法中，一次函数可以使得计算变得十分简单，在数学中一次函数标准型为
其中a为斜率b为截距，x为自变量y为因变量，a b为常数，图像为一条直线如下所示
一次函数同样也适用于多个自变量的情形
在神经网络中神经元的加权输入可以表示成多个自变量的一次函数形式，其中z为输入,w为权重,b为偏置
②sigmoid函数
sigmoid函数是神经网络中十分重要的激活函数，表达式为
图像如下所示，可以看出图像是光滑的，也就是处处可导
2.倒数基础
①常用导数公式及性质
②复合函数求导
在反向传播算法中复合函数求导十分重要，其一般形式可以写成
在反向传播中会用到链式法则，单变量函数的链式法则为
多变量函数的链式法则为
例如: 对sigmoid 函数进行求导
最低0.47元/天 解锁文章
562
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
