- 博客(4)
- 收藏
- 关注
RSS订阅原创 【吴恩达深度学习】测试2-3总结：超参数调整 批量标准化
超参数调整超参数α\alphaα 学习率隐藏单元数量batchsizeβ\betaβ （~0.9）β1,β2,ϵ\beta_1,\beta_2,\epsilonβ1,β2,ϵ (默认0.9，0.999，10−80.9，0.999，10^{-8}0.9，0.999，10−8从不调)层数学习率衰减其中学习率最重要，而后面三个影响最小。搜索超参数尝试随...
2020-04-24 17:56:58
254
原创 【吴恩达深度学习】测试2-2总结：优化算法
Mini-batch[i] {j} (k)上标分别表示 第i层，第j小块，第k个示例优点：能够进行向量化。不用等整个数据集都计算后再梯度下降，单次迭代耗时短。指数加权平均Vt=βVt−1+(1−β)θtV_t=\beta V_{t-1}+(1-\beta)\theta_tVt=βVt−1+(1−β)θt （平均过去11−β\frac{1}{1-\beta}...
2020-04-24 13:53:07
200
原创 【吴恩达深度学习】测试2-1总结：正则化、初始化、梯度检验
正则化Bias-varience trade-off解决高偏差（训练集上的表现）：更大的神经网络、更久的训练解决高方差（测试集上的表现）：更多的数据、正则化正则化（Regularization）是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减小过拟合。最基本的正则化方法是在原目标（代价）函数 中添加惩罚项，对复杂度高的模型进行“惩罚”。L1正则化：∣∣w∣∣1=∑...
2020-04-23 12:16:28
362
原创 【吴恩达深度学习】测试 - 课程1 - 神经网络和深度学习
【吴恩达深度学习作业测试】课程1 - 神经网络和深度学习第1周-深度学习简介【总结】Scale drives deep learnig progress：Data，Computation，Algorithms非结构化数据：图片，音频，文本ReLU(Rectified Linear Unit) 修正线性单元相比于其它激活函数来说，ReLU有以下优势：计算梯度简单，梯...
2020-04-05 18:37:24
536
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人