yy_0073-CSDN博客

原创吴恩达深度学习第二课第三周作业及学习心得体会 ——softmax、batchnorm

写在前面本周课程用了两周完成，因为课程让用tensorflow实现，编码时还是更希望自己手写代码实现，而在实现过程中，低估了batchnorm反向计算的难度，导致算法出现各种bug，开始是维度上的bug导致代码无法运行，等代码可以运行时，训练神经网络的时候成本又总会发散，于是静下心来把整个运算的前向和反向过程认真推导了好几遍，期间参考网上一些资料，但感觉都没有把问题真正说清楚，连续三天的推导后...

2018-08-31 00:24:21 2114

原创吴恩达深度学习第二课第二周作业及学习心得体会——minibatch、动量梯度下降、adam

概述学习课程后，在L2正则化代码的基础上完成该周作业，现将心得体会记录如下。Mini-batch梯度下降概念对m个训练样本，每次采用t（1<t<m）个样本进行迭代更新。具体过程为：将特征X分为T个batch，每个batch的样本数为t（最后一个batch样本数不一定为t）。相应的将标签Y也如此分为T个batch。然后在每次训练时，原本是对所有样本进行一次训练；该算法...

2018-08-15 22:36:12 2746

原创吴恩达深度学习第二课第一周作业及学习心得体会——初始化权重、L2正则化、dropout

概述学习课程后，再第一周第四课作业的基础上完成该周作业，现将心得体会记录如下。初始化权重代码更改在之前的建立神经网络的过程中，提到权重w不能为0，而将它初始化为一个随机的值。然而在一个深层神经网络中，当w的值被初始化过大时，进入深层时呈指数型增长，造成梯度爆炸；过小时又会呈指数级衰减，造成梯度消失。Python中将w进行随机初始化时，使用numpy库中的np.random.ra...

2018-08-02 23:11:14 1898

原创吴恩达深度学习第一课第四周作业及学习心得体会

概述在完成吴恩达第一课第四周，即L层neuralnetwork学习后，了解了深层神经网络的结构，然后参考网上的资料，完成该周作业，现将心得体会记录如下。核心代码调用库如下所示import numpy as npimport matplotlib.pyplot as plt初始化参数函数def init_para(layer_dims): L = len(lay...

2018-07-27 11:10:34 2506

原创吴恩达深度学习第一课第三周作业及学习心得体会

概述在完成吴恩达第一课第三周，即1hiddenlayer的neuralnetwork学习后，了解了两层神经网络的结构，然后参考网上的资料，完成该周作业，现将心得体会记录如下。核心代码调用库如下所示；import numpy as npimport matplotlib.pyplot as pltSigmoid函数；def sigmoid(z): return 1....

2018-07-22 22:26:05 3816 2