![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DL
爱学习的小土
本人热衷于机器人导航算法研究,希望与志同道合伙伴一起探讨有关技术。
展开
-
激活函数
ReLU分段线性,计算简单。梯度消失;Sigmoid和双曲正切函数在两端时导数容易趋近于零。关闭左边;使部分节点输出为零,起到类似L1正则化作用,一定程度上缓解过拟合。...原创 2019-09-11 12:37:29 · 79 阅读 · 0 评论 -
TensorFlow笔记
神经网络实现过程数据准备搭建网络训练网络预测损失函数预测值与已知答案的差距均方误差交叉熵误差:表征两个概率分布之间的距离自定义学习率每次参数更新的幅度指数衰减学习率滑动平均记录了每一个参数一段时间内过往值的平均,增加模型的泛化性。正则化在损失函数中引入模型复杂度指标,利用给W加权值,弱化训练数据的噪声,起到缓解过拟合作用。L1正则化L2正则化...原创 2019-09-21 23:02:33 · 105 阅读 · 0 评论