- 博客(4)
- 资源 (6)
- 收藏
- 关注
原创 优化之——滑动平均模型
滑动平均模型可以使模型在测试数据上更加健壮。仅用于测试数据。shadow_variable = decay*shadow_variable+(1-decay)*variabledecay为衰减率, variable为待更新的变量。decay=min(decay_base,(1+global_step)/(10+global_step))decay越大模型越稳定,一般设置为0.999,,
2018-01-05 22:33:11 918
原创 优化之——正则化
为了避免过拟合问题,常用的方法为正则化,在损失函数中加入刻画模型复杂度的指标.J = J(theta)+a*R(w)L1正则化:R(w)=||w||=sum(|w|)L2正则化:R(w)=||w||^2 = sum(|w|^2)思想为通过限制权重大小,使得模型不能任意拟合训练数据中的随机噪音。L1正则化会让参数变得更稀疏,即更多参数为0L2正则化则不会。L1正则化公式不可导。L2正则化
2018-01-05 22:13:26 787
原创 优化之——学习率的设置
先用较大的学习率来加速得到较优解,随着迭代的继续逐步减小学习率,使得模型在训练后期更加稳定。decayed_learning_rate = learning_rate*decay_rate^(global_step/decay_step)learning_rate为设定的初始学习率decay_rate为衰减系数global_step已训练次数decay_step为使用一遍训练数据需要迭代
2018-01-05 21:53:06 2118
原创 tf.nn.sparse_softmax_cross_entropy_with_logits
**def sparse_softmax_cross_entropy_with_logits(_sentinel=None, # pylint: disable=invalid-name labels=None,logits=None,name=None):** labels是非稀疏的,例如稀疏矩阵为 [[ 1. 0. 0.] [ 0. 1. 0.] [ 0. 0. 1.]
2018-01-05 21:23:33 379
go1.12.5.windows-amd64.zip
2019-05-09
TensorFlow实战
2017-12-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人