吴恩达深度学习笔记
吴恩达深度学习笔记
Jason66661010
这个作者很懒,什么都没留下…
展开
-
02.改善深层神经网络:超参数调试、正则化以及优化-优化算法
优化算法文章目录优化算法2.1mini-batch 梯度下降2.2理解mini-batch梯度下降法2.3 指数加权平均数2.4指数加权平均的偏差修正2.5 动量梯度下降法2.6 RMSprop2.7 Adam 优化算法2.8学习率衰减2.1mini-batch 梯度下降优化算法,这能让你的神经网络运行得更快。虽然之前的向量化的方法能够让我们较快地处理样本数据,但是当样本的数据变得较多的时候,处理速度仍然缓慢。比如说,如果????是 500 万或 5000 万或者更大的 一个数,在对整个训练集执行梯原创 2020-09-19 18:53:32 · 160 阅读 · 0 评论 -
02.改善深层神经网络:超参数调试、正则化以及优化-深度学习的实用层面
文章目录1.1训练,验证,测试集1.2 偏差,方差1.4 正则化1.5 为什么正则化有利于预防过拟合呢L1正则化L2正则化区别1.6 dropout正则化原理实施注意事项1.7 归一化输入1.8 梯度消失与梯度爆炸1.深层网络角度2.激活函数角度1.9 神经网络的权重初始化为什么要随机初始化原理做法1.10梯度的数值检验1.11梯度检验(grad check)1.12梯度检验的注意事项1.1训练,验证,测试集在机器学习发展的小数据量时代,常见做法是将所有数据三七分,就是人们常说的 70%验证集,30%测原创 2020-09-19 18:40:18 · 169 阅读 · 0 评论 -
01.神经网络和深度学习-神经网络的编程基础
草泥马原创 2020-09-19 12:04:42 · 251 阅读 · 0 评论 -
01.神经网络和深度学习-深层神经网络
深层神经网络文章目录深层神经网络4.1 深层神经网络4.5 为什么使用深层表示?4.6 搭建神经网络块4.7 参数 VS 超参数4.1 深层神经网络4.5 为什么使用深层表示?深层网络在计算什么?假设是一个人脸的识别系统,那么神经网络的第一层可能是一些特征的探测器或者是一些边缘的探测器,使用这些边缘特征来寻找之后脸部某一部分的边缘,从而组成面部的不同部分,再将面部的不同部分放在一起探测假设是一个语音识别系统,需要解决的就是可视化语音,那么神经网络的第一层就是探测波形的特征,从而识别音位,音频、原创 2020-09-19 10:58:24 · 172 阅读 · 0 评论 -
01.神经网络和深度学习-浅层神经网络
浅层神经网络文章目录浅层神经网络3.1 神经网络的概览3.2 神经网络的表示3.3 单个样本的计算神经网络的输出3.4 多个样本的神经网络的输出3.5 激活函数sigmoid函数tanh函数ReLu 函数Leaky Relu选择激活函数的经验法则3.7 为什么需要非线性激活函数3.9 神经网络的梯度下降——反向传播3.11 随机初始化参数第二门课 改善深层神经网络:超参数调试、 正则化以 及优化第一周:深度学习的实践层面1.1训练,验证,测试集1.2 偏差,方差1.4 正则化1.5 为什么正则化有利于预防原创 2020-09-19 10:56:55 · 442 阅读 · 0 评论