深度学习论文
bwqiang
日日新。
展开
-
2020_09_11课题进展总结
理解单隐层ReLU神经网络的全局损失 论文中的神经网络是与下图类似的ddd个输入神经元、KKK个ReLU激活的隐藏神经元,一个输出神经元。 神经网络的激活函数:L(z,w)=1N∑i=1Nl(∑j=1Kzj⋅Iijwj⋅xi,yi),L(z,\mathbf{w})=\frac{1}{N}\sum_{i=1}^N l(\sum_{j=1}^K z_j\cdot{I_{ij}}\mathbf{w}_j\cdot \mathbf{x}_i,y_i),L(z,w)=N1i=1∑Nl(j=1∑Kzj原创 2020-09-10 19:59:33 · 209 阅读 · 0 评论 -
理解单隐层ReLU神经网络的全局损失
摘要 对于但一隐层ReLU神经网络,我们展示在每个可微区间内都是全局极小值,这些局部极小是否唯一可微,取决于数据,隐藏神经元的激活模式,网络大小。我们给出一个是否局部极小值存在它们的定义的区域内的标准,还有它们的位置和损失值。进一步,我们给出鞍点和不可微局部极小存在的充要条件。最后,我们计算高斯输入数据和平行权重向量陷入局部极小的概率,并证明当权重位于数据不太缺乏的区域时,该概率是指数消失的。...原创 2020-09-10 19:41:26 · 881 阅读 · 0 评论