![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 79
冬虫夏草1993
这个作者很懒,什么都没留下…
展开
-
深度学习 权重初始化为什么要用正态分布
一般来讲权重矩阵是K个N维向量。从直觉上来讲,如果这K个N维向量在N维空间中均匀分布在以原点为中心的N-1维单位超球面上,在随机性上应该是最好的。因为这样,这K个向量的夹角为均匀分布。此时问题变成了,如何在N-1维超球面上进行均匀采样。根据这篇论文A note on a method for generating points uniformly on n-dimensional sphere...原创 2019-06-12 16:47:47 · 5917 阅读 · 0 评论 -
xavier初始化的背后原理
一般来讲,要保持方差不变,线性变换是正交变换是最好的。如果是正交变换,则要求每个滤波向量的长度为1.可以证明以xavier初始化的方式,可以保证向量长度的期望为1....原创 2019-08-28 12:24:07 · 563 阅读 · 0 评论 -
关于resnet的直觉性解释
resnet为什么能够这么深,而性能不发生退化,确实是一件百思不得其解的现象。而最近我终于明白了里面的深层次的原因。根本原因是,不用残差的模型本质上是在将feature在空间中线性变换,然后进行裁剪,如此可将不同的feature映射为同一个值,发生了坍缩现象,本应不同类别的feature非线性变换为同一个feature值,从而造成信息丢失,造成欠拟合的现象。那么为什么resnet没有发生这种情...原创 2019-08-30 23:09:17 · 867 阅读 · 2 评论