- 博客(4)
- 收藏
- 关注
RSS订阅原创 借助ResNet思考深层网络梯度消失的本质
#背景：线性激活与非线性激活层我们知道，在神经网络中，非线性激活层可以为模型引入了非线性，让模型具有更强的拟合能力。如果只是单纯的线性操作层的叠加，则完全可以等价为一个线性层，这就浪费了深度神经网络的一身好本领。所谓针无两头尖，那么非线性激活层会带来一些什么问题呢？我们以ReLU为例来进行说明，其他非线性激活层亦同理。首先，最直观的，从实验中我们可以注意到一个事实：ReLU会造成的低维数据的坍塌（collapse）。顾名思义，即是说，低维度的feature在通过ReLU的时候，这个feature会像塌
2021-05-27 06:24:33
341
原创 pip install 与 sudo install的不同
pip install 与 sudo install的不同pip install和sudo pip install是不一样的，如图所示，pip install调用的是anaconda安装的pip，位于/root/anaconda2/lib/python2.7/dist-packages下，安装的依赖也在这个位置，而sudo pip install调用的是系统安装的pip，位于/usr/local/lib/python2.7/dist-packages下。...
2021-02-22 19:29:55
1051
原创 Numpy中的linspace函数与arange函数
Numpy中的linspace函数与arange函数import numpy as npnp.linspace(0, 2, 9)#从零到二的9个数array([ 0. , 0.25, 0.5 , 0.75, 1. , 1.25, 1.5 , 1.75, 2. ])np.arange(0, 2, 0.25)#从零开始，以0.25为步长，最后一个数字要小于2array([ 0. , 0.25, 0.5 , 0.75, 1. , 1.25, 1.5 ,
2020-11-09 11:36:11
323
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人