深度学习视频笔记[吴恩达]
文章平均质量分 83
吴恩达深度学习视频课笔记
骜蛟
砥砺前行
展开
-
第二课改善神经网络 第一周深度学习的实践层面
文章目录深度学习 改善神经网络第一周 深度学习的实践层面1.1 训练 验证 测试集1.2 偏差 方差1.3 正则化1.4 归一化输入1.5 初始权重化1.6 梯度检验深度学习 改善神经网络第一周 深度学习的实践层面1.1 训练 验证 测试集train/ dev/ test/ sets1.2 偏差 方差高偏差(hign bias)=> 数据拟合度过低 (常见于线性分类器)=>用其他神经网络训练高方差(hign variance)=>数据部分过拟合 => 引入正则惩罚 或原创 2021-10-22 20:37:03 · 123 阅读 · 0 评论 -
第二课优化神经网络 第三周超参数调制
第三周 超参数调制、Batch正则化和深度学习框架3.1 调试处理1、选择超参数时,用随机选取而不是网格选取。2、由粗糙到精细。3.2 为超参数选择合适的范围数轴上以对数尺度选取而不是平均选取。如:10^ -5 to 10^ -13.3 超参数调试实践Pandas VS Caviar基于自身计算资源,一次照看一个模型(不断调整参数)或者一次并行训练多个模型(观察不同参数的区别)3.4 归一网络的激活函数Batch归一化在每一个隐藏层的输入前,归一化A[l]作为下一层l+1层的输入。原创 2021-10-29 19:23:48 · 303 阅读 · 0 评论 -
第二课优化神经网路 第二周优化算法
文章目录第二周 优化算法2.1 Mini-batch 梯度下降2.2 指数加权平均数 Exponentially weighted averages2.3 指数加权平均数的修正2.4 动量梯度下降法 Gradient descent with Momentum2.6 RMSprop 算法2.7 Adam 优化算法 Adaptive Moment Estimation2.8 学习率衰减2.9 局部最优问题第二周 优化算法2.1 Mini-batch 梯度下降把样本再分为小批量的样本,在梯度下降时,用这小原创 2021-10-22 20:40:32 · 163 阅读 · 0 评论 -
第三课结构化机器学习项目
深度学习第三课 结构化机器学习项目第一周 机器学习策略1.1 什么是机器学习策略即用来调整机器学习准确率的各种策略。1.2 正交化一个按钮就控制一个功能,彼此互不影响。现在系统已经满足了一个条件,要让系统满足第二个条件,但是要尽量满足第一个条件。1.3 单一数字评价指标顾名思义,为你的深度学习系统设置一个单一实数指标。查全率召回率F1分数=查全率和召回率的调和平均。1.4 满足和优化指标所以更一????般地????,如果你有????????????????个指标,有时候????选原创 2021-10-29 19:26:40 · 337 阅读 · 0 评论 -
深度学习第四课 卷积神经网络
深度学习第四课 卷积神经网络第二周 实例探究2.1 经典网络LeNet-5AlexNetVGGNetLeNet是识别手写数字的网络。VGG专注于构建卷积层的简单网络。2.2 残差网络ResNet由残差块(Residual block)构建。 a[l+2]=g(z[l+2]+a[l])a^{[l+2]} = g(z^{[l+2]}+a^{[l]})a[l+2]=g(z[l+2]+a[l])展开,有 a[l+2]=g(W[l+2]a[l+1]+b[l+2]+a[l])a^{[l+2]} =原创 2021-11-05 19:46:29 · 867 阅读 · 0 评论