【学习总结】深度学习的数学

深度学习的数学

https://www.ituring.com.cn/book/2593

 

感悟:从数学角度来理解深度学习并不复杂,也可以说作者讲解得让人很容易理解,涉及到的数学知识有函数、数列、向量、矩阵、求偏导、链式法则、多变量函数的近似公式、梯度下降法、误差反向传播、卷积等概念。这里主要针对几个手工实例进行操作复习。

目录

深度学习的数学

2-11梯度下降法

3-5 NN(求解器)

4-4 NN(误差反向传播法)

5-4 CNN(求解器)

5-6 CNN(误差反向传播法)


2-11梯度下降法

题目

对于函数试用梯度下降法求出使得函数取得最小值的x和y值。

1.初始设定

 

2.计算位移向量

 

3.更新位置

 

4.反复执行2~3的操作

 

3-5 NN(求解器)

用Excel表确定权重和偏置。

1.读入学习用的图像数据

以下图为例

    

将图像数据全部放在计算用的工作表上,如下图所示。

 

未截图完整,共60张。

2.设置权重和偏置的初始值

初始值的设置使用服从标准正态分布的正态分布随机数,如图

w和b分别为隐藏层的权重和偏置,也即为所求。

 

3.从第一张图像开始计算各个神经单元的加权输入、输出、平方误差

加权输入z、输出、平方误差C

计算z

 

输出层

 

 

平方误差C

 

4.对全部数据复制3中建立的函数的值

将函数复制到所有图像实例上,求出代价函数CT的值。

CT为18.347

5.利用求解器执行最优化

求解器(文件》选项》加载项》规划求解器》转到,即可在数据栏最后查看)

 

结果

 

执行测试

 

4-4 NN(误差反向传播法)

试用Excel确认误差反向传播算法确定它的权重和偏执。

试用Excel确认误差反向传播算法确定它的权重和偏执。

1读入图像

同3-5

2进行权重和偏执的初始设置

同3-5还是使用正态分布随机数(2-1节)设置为“初始值”,同时设置学习率为一个比较小的值。

3计算出神经单元的输出值以及平方误差C

对于第一张图像,我们根据权重和偏置来求各个神经单元的加权输入、激活函数的值和平方误差C。

 

4根据误差反向传播法计算各层的神经单元误差

5根据神经单元误差计算平方误差C的偏导数

6计算出代价函数CT和它的梯度▽CT

复制函数到64分数据上,对平方误差C的偏导数进行汇总,就得到了代价函数CT和它的梯度▽CT

7根据6中求出的梯度,更新权重和偏置的值

 

8反复进行3~7的操作

最终得到

5-4 CNN(求解器)

1读入学习用的图像数据

2设置参数的初始值 还是使用标准正太分布随机数,但是要注意当求解器的执行结果不收敛时,要修改初始值。

3从第一张图像开始计算各种变量的值

4复制步骤3中建立的各个函数到所有数据中

5算出代价函数CT的值

6利用求解器执行最优化

5-6 CNN(误差反向传播法)

1.  读入学习用的图像数据

2.设置过滤器分量、权重和偏置的初始值

3.算出神经网络的输出值以及平方误差C

1-3步同5-4中步骤

4.根据误差反向传播法计算各层的神经单元误差

首先计算输出层的神经单元误差。

根据反向递推关系式计算。

5.根据神经单元误差计算平房误差C的偏导数

6.计算代价函数CT及其梯度▽CT

复制到96张图像数据上,将步骤五中求得的平方误差C关于参数的偏导数加起来,就算出了代价函数的值和梯度。

7.根据6中求出的梯度。更新权重和偏置的值

8.反复进行3-7的操作

 

 

©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页