深度学习
qq_45602850
这个作者很懒,什么都没留下…
展开
-
吴恩达深度学习第四课错题
原创 2022-04-10 11:09:42 · 531 阅读 · 0 评论 -
吴恩达深度学习L2W1总结
作业1:初始化 不同的初始化会导致不同的结果 随机初始化用于打破对称性,并确保不同的隐藏单元可以学习不同的东西 不要初始化为太大的值 随机初始化对于带有ReLU激活的网络非常有效 Xavier初始化还不会!!! 作业2:正则化 正则化将帮助减少过拟合。 正则化将使权重降低到较低的值。 L2正则化和Dropout是两种非常有效的正则化技术 L2正则化的影响: 损失计算: - 正则化条件会添加到损失函数中 反向传播函数: - 有关权重矩阵的渐变中还有其他术语 权重最终变小(“权重衰减”): - 权原创 2022-03-28 11:33:31 · 195 阅读 · 0 评论 -
正则化方法dropout
正则化目的:防止过拟合、增强模型的泛化能力。 什么是 dropout? 在神经网络中,遍历神经网络的每一层,为每一层设置一个概率keep-prob,并以1-(keep-prob)的概率移除一些神经元。 也可以理解为每一个神经元被保留下来的概率为该层的keep-prob。 注意:深度学习模型在训练时使用dropout,在测试时不使用dropout。 Inverted dropout 反向随机激活 随机生成矩阵d[l]=np.random.randn(a[l].shape,a[l-1].shape) 判断原创 2022-03-26 17:42:20 · 1264 阅读 · 0 评论 -
吴恩达深度学习L1W2作业1总结
1.行标准化 在机器学习和深度学习中使用的另一种常见技术是对数据进行标准化。 由于归一化后梯度下降的收敛速度更快,通常会表现出更好的效果。 通过归一化,也就是将x更改为以下形式 (将x的每个行向量除以其范数)。 举例: 范数求法: x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False) #keepdims用于保持维度 ①x: 表示矩阵(也可以是一维) ②axis:0代表将每一列相加,1代表把每一行相加 ③ord:范数类型 这个示例中原创 2022-03-17 16:55:11 · 1425 阅读 · 3 评论