![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 74
皮卡丘黄了吧唧丿
这个作者很懒,什么都没留下…
展开
-
dead ReLU的个人理解
假设输入到ReLU的数据服从正态分布且对称点在x轴右侧,则说明大部分的数据都是可以激活ReLU的,可能会出现一种情况:即通过之前的线性变换。导致ReLU右侧的斜率变得很陡,那么梯度就会很大,从而w会发生较大的变化。因为在ReLU之前还要线性变换,可能就因为这一次w的变化使得。的输出分布的中心向左偏,例如-0.1,这就导致大部分数据都会被ReLU重置为0,梯度也为0,w不再更新,假设某ReLu层的输入x满足高斯分布,中心在+0.1,方差不会异常大。大多数输入为正,经过激活后保持原值,负输入将全部归零;原创 2023-08-15 21:23:31 · 180 阅读 · 0 评论 -
向量为什么是有序列表
与其将二维坐标系上画满带箭头的直线,不如用点来表示他,即显得简单同时含义也没有发生变化。与其将二维坐标系上画满带箭头的直线,不如用点来表示他,即显得简单同时含义也没有发生变化。上图就有两种情况:1、粉色向量刚好和形成的面共面,则无论粉色向量怎么放缩,甚至把粉色拿掉(标量=0),得到的结果还是这一个面。一种更官方的说法就是,其中一个向量可以表示为其他向量的线性组合(该向量落到了其他向量生成的空间中),称为线性相关。,固定其中一个向量前的标量(粉),任意改变其他标量(红蓝)最终会形成一个面。原创 2023-08-03 22:37:28 · 207 阅读 · 0 评论 -
python蓝桥算法提高
想起就更,随便写写原创 2022-03-29 14:52:22 · 1028 阅读 · 0 评论