- 博客(3)
- 收藏
- 关注
RSS订阅原创 华为深度学习（第四周）
学习内容深度置信网络波尔兹曼机受限波尔兹曼机受限意味着层内的神经元没有连接关系其传播过程如下深度置信网络深度神经网络由多层波尔兹曼机组成卷积神经网络卷积计算卷积神经网络的主要作用就是提取特征，而提取特征的是为了去除冗余信息量，保留显著特征 卷积神经网络存在精确度和自动提取特征的优点循环神经网络前馈神经网络的缺点（卷积神经网络即为前馈神经网络）RNN实践内容...
2022-07-28 15:49:55
247
1
原创 华为深度学习（第三周）
学习内容初始化初始化的重要性全零初始化随机初始化Xavier初始化He初始化参数调节超参数超参数的调节方法训练技巧试错法网格搜索随机搜索贝叶斯优化心得初始化要使梯度保持在合理的区间，也不可以是各层的激活值为0或1。相对来说，全零初始化很难达到训练的要求，难以提取到有用的特征值。而随机初始化对随机分布的选择要求较高，选择不当会使梯度弥散，降低收敛速度，或...
2022-07-24 09:38:33
313
原创 华为深度学习学习心得（第二周）
学习内容正则化数据增强，参数范数惩罚，Dropout，提前终止，随机池化欠拟合与过拟合过拟合和欠拟合的应对方法数据增强数据增强即增加数据样本。防止过拟合的最有效方法是增加数据样本。噪声注入可以在网络的不同位置加入噪声：输入层（数据集增强），隐藏层（Dropout），输出层（标签平滑）L1，L2正则其均是通过增加范数惩罚项来防止过拟合L1可以在参数w较小的时候缩减至0，从而起到特征选择的作用范数约束相当于对参数添加先验分布，L2范数相当于参数服从高斯先验分.
2022-07-13 09:54:48
242
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人