吴恩达深度学习学习笔记
猪猪2000
AI fan
展开
-
吴恩达深度学习学习笔记-7建立神经网络
1. 训练神经网络训练神经网络时,需要做许多决策。例如,有多少层网络每层含有多少个隐藏单元学习率各层采用哪些激活函数…这些决策无法一次决定好,通常在项目启动时,我们会先有一个初步想法,然后编码,并尝试运行这些代码,再根据结果完善自己的想法,改变策略。2. train/dev/test sets通常把数据分为训练集,验证集,测试集。我们用训练集数据训练模型,用验证集做hold out cross validation,选择最好的模型,最后在测试集上进行评估。在小数据量做机器学习时,原创 2021-07-02 09:51:27 · 121 阅读 · 0 评论 -
吴恩达深度学习学习笔记-6 参数与超参数
超参数有哪些:学习率 learning rate,决定你的参数如何进化,或者梯度下降法循环的数量。隐层数量 hidden layers L隐藏单元 hidden units激活函数momentumminibatch size正则化参数这些参数的设置决定了最后的参数W和b.对于超参数的设置,可以进行不断的尝试,深度学习是一个基于时间的过程。例如learning rate,可以先尝试0.01,看看cost function J是否下降,再尝试其他的值,看是否下降的更快,收敛到更低的值。在模型原创 2021-06-25 17:49:13 · 125 阅读 · 0 评论 -
吴恩达深度学习学习笔记-5为什么深的神经网络表现更好
实践正面,深度深即多隐层,每层神经元节点个数不多,这样搭建的神经网络效果更好,为什么呢?我们来看一些例子。首先,深度网络究竟在计算什么。如果你在建一个人脸识别系统,深度神经网络做的事情就是,当你输入一张脸的照片,然后第一层可以看作一个特征探测器,或者边缘探测器。例如,我们建立了每层大概20多个hidden unit的神经网络。如下图,每个小方块就是一个隐藏单元,它会去找这张图片中边缘的信息。然后,把这些探测到的边缘组合成面部的不同部分,例如有些找眼睛,有些鼻子。最后再把这些部分放一起,组成一张人脸。原创 2021-06-25 16:38:59 · 312 阅读 · 0 评论 -
吴恩达深度学习学习笔记-4深层网络如何检查代码对错
对于深层神经网络,检查代码是否有错的方法,拿出一张纸,然后过一遍算法中矩阵的维数。实现forward propagation,需要做下面这样的计算。根据上图,已知z和x的维度,可以推到出w的维度。概括为一个更广泛的公式,如下图。对于b的维度,b需要跟wx做加法运算得到z,所以应该与z保持相同的维度,所以b的维度的公式如下图。对于back propagation,dW的维度应该和W的维度相同,db的维度和b的维度相同。对于经过激活函数的向量,维度不应该变化。下面从z到Z,考虑向量化后的维原创 2021-06-25 11:53:53 · 118 阅读 · 0 评论 -
吴恩达深度学习学习笔记-3激活函数activation functions
1. sigmoid函数现实中不建议使用sigmoid函数。2. tanh函数(双曲正切函数)tanh函数更像是sigmoid函数平移后的结果。相比于sigmoid函数,tanh总是效果更好。因为tanh函数的值介于-1至1之间,平均值更接近0.使用tanh函数,也有类似与数据中心化的效果。几乎所有的情况下,tanh都比sigmoid函数效果更好,只有一个例外,就是输出层。因为如果y是0或1,那么y_帽介于0到1之间更合理。所以,对于二分类问题,最后的输出层可以用sigmoid函数,隐藏层建议使用原创 2021-06-22 17:53:01 · 158 阅读 · 1 评论 -
吴恩达深度学习学习笔记-2浅层神经网络向量化
1. 双层神经网络/单隐层神经网络输入层是0层,第一层隐藏层,第二层输出层。隐藏层是一个四维的向量,有两个相关的参数W和b,W是一个(4,3)维的向量,b是(4,1)维的向量。这个的4来自隐藏层有4个输出节点,W的3来自有3个输入特征。2. 神经网络的输出是怎么计算出来的在这张图片中可以看到,隐层中节点包括2个步骤,第一个步骤是计算z=w.T*x+b,第二个步骤是计算a=sigmoid(z). 其中参数的上标表示第几层,下标表示一层中的第几个节点。如下图所示,此例中隐层的4个节点对应的计算公式原创 2021-06-22 15:04:30 · 138 阅读 · 0 评论 -
吴恩达深度学习学习笔记-1
房价预测问题:使用房屋面积(x)预测价格(y)。神经元所做的,就是输入x,经过线性计算,取不小于0的值,最后输出预测价格。类似与这样的函数,从0开始,然后是shan原创 2021-06-21 11:05:06 · 119 阅读 · 0 评论