- 博客(4)
- 收藏
- 关注
原创 【吴恩达深度学习】测试2-3总结:超参数调整 批量标准化
超参数调整 超参数 α\alphaα 学习率 隐藏单元数量 batchsize β\betaβ (~0.9) β1,β2,ϵ\beta_1,\beta_2,\epsilonβ1,β2,ϵ (默认0.9,0.999,10−80.9,0.999,10^{-8}0.9,0.999,10−8从不调) 层数 学习率衰减 其中学习率最重要,而后面三个影响最小。 搜索超参数 尝试随...
2020-04-24 17:56:58 222
原创 【吴恩达深度学习】测试2-2总结:优化算法
Mini-batch [i] {j} (k)上标分别表示 第i层,第j小块,第k个示例 优点: 能够进行向量化。 不用等整个数据集都计算后再梯度下降,单次迭代耗时短。 指数加权平均 Vt=βVt−1+(1−β)θtV_t=\beta V_{t-1}+(1-\beta)\theta_tVt=βVt−1+(1−β)θt (平均过去11−β\frac{1}{1-\beta}...
2020-04-24 13:53:07 175
原创 【吴恩达深度学习】测试2-1总结:正则化、初始化、梯度检验
正则化 Bias-varience trade-off 解决高偏差(训练集上的表现):更大的神经网络、更久的训练 解决高方差(测试集上的表现):更多的数据、正则化 正则化(Regularization)是机器学习中一种常用的技术,其主要目的是控制模型复杂度,减小过拟合。最基本的正则化方法是在原目标(代价)函数 中添加惩罚项,对复杂度高的模型进行“惩罚”。 L1正则化:∣∣w∣∣1=∑...
2020-04-23 12:16:28 333
原创 【吴恩达深度学习】测试 - 课程1 - 神经网络和深度学习
【吴恩达深度学习作业测试】课程1 - 神经网络和深度学习 第1周-深度学习简介 【总结】 Scale drives deep learnig progress:Data,Computation,Algorithms 非结构化数据:图片,音频,文本 ReLU(Rectified Linear Unit) 修正线性单元 相比于其它激活函数来说,ReLU有以下优势: 计算梯度简单,梯...
2020-04-05 18:37:24 498
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人