深度学习
沐雲小哥
这个作者很懒,什么都没留下…
展开
-
神经网络——梯度消失与梯度爆炸
(1)梯度不稳定问题什么是梯度不稳定问题:深度神经网络中的梯度不稳定性,前面层中的梯度或会消失,或会爆炸。原因:前面层上的梯度是来自于后面层上梯度的乘乘积。当存在过多的层次时,就出现了内在本质上的不稳定场景,如梯度消失和梯度爆炸。(2)梯度消失原因:例如三个隐层、单...原创 2021-09-17 13:09:01 · 238 阅读 · 0 评论 -
神经网络中的Batch Normalization
1. 什么是Batch Normalization?Batch Normalization(批标准化):它的功能是使得输入的X数据符合同一分布,从而使得训练更加简单、快速。一般来讲,Batch Normalization会放在卷积层后面,即卷积 + BN层 + 激活函数。2.Batch Normalization1、对输入进来的数据X进行均值求取。2、利用输入进来的数据X减去第一步得到的均值,然后求平方和,获得输入X的方差。3、利用输入X、第一步获得的均值和第二步获得的方差对数据进行归一化,即原创 2021-07-23 14:08:06 · 676 阅读 · 0 评论 -
浅层的网络更关注于细节信息,高层的网络更关注于语义信息
**浅层网络:**一般感受野较小,能够利用更多的细粒度特征信息,而且此时特征图每个像素点对应的感受野重叠区域还很小,早就保证了网络能捕获更多细节。**深层网络:**随着下采样或卷积次数增加,感受野逐渐增加,感受野之间的重叠区域也不断增加,此时的像素点代表的信息是一个区域的信息,获取的是这块区域或相邻区域之间的特征信息,相对不够细粒度。一张图片,经过深层网络处理后图片就会模糊了,然而浅层网络处理则不会模糊。对于模糊图片,我们想看出来里面是什么,一般就是通过整体信息来推测,比如说:整体轮廓;然而对于高清图片原创 2021-07-22 15:34:13 · 3238 阅读 · 0 评论 -
深度学习——参数初始化
深度学习总结(一)——参数初始化https://blog.csdn.net/manong_wxd/article/details/78734725深度学习: 参数初始化https://blog.csdn.net/JNingWei/article/details/78835390原创 2020-09-20 08:18:25 · 136 阅读 · 0 评论 -
深度学习模型压缩
深度学习模型压缩方法综述(一)https://blog.csdn.net/wspba/article/details/75671573深度学习剪枝https://blog.csdn.net/jacke121/article/details/79450321深度学习—常见问题总结(调优方法)https://www.cnblogs.com/eilearn/p/9044543.html...原创 2020-09-19 21:44:17 · 89 阅读 · 0 评论 -
非线性激活函数的作用
为什么需要非线性激活函数?(why need a nonlinear activation function?)为什么神经网络需要非线性激活函数?事实证明:要让你的神经网络能够计算出有趣的函数,你必须使用非线性激活函数,证明如下:这是神经网络正向传播的方程(看图中公式)现在我们去掉函数g,然后令,或者我们也可以令g(z)=z,这个有时被叫做线性激活函数(更学术点的名字是恒等激励函数,因为它们就是把输入值输出)。为了说明问题我们把,那么这个模型的输出y或仅仅只是输入特征x的线性组合。如果我们改原创 2020-09-07 19:27:40 · 5385 阅读 · 0 评论 -
目标检测文章2014-2020收录
目标检测–深度学习https://github.com/hoya012/deep_learning_object_detection原创 2020-07-30 13:59:28 · 93 阅读 · 0 评论 -
win10 + CUDA10.0 + cuDNN7.6.5 + Pytorch 安装教程
CUDA10.0 + cuDNN 7.6.5 安装可自行百度 教程很多。conda create --name pytracking python=3.7conda activate pytrackingconda install pytorch torchvision cudatoolkit=10.0 -c pytorch有的时候上面的指令将torchvision-0.4.0 和 pytorch-1.2.0安装不成功,则执行以下指令。安装清华镜像添加conda的清华镜像源con原创 2020-06-15 13:45:02 · 2706 阅读 · 0 评论 -
技能学习
参考博文:机器学习多种工具参考学习原创 2020-06-14 11:55:29 · 134 阅读 · 0 评论 -
Ubuntu16.04 安装 python3.5 + pip3安装问题
python3.5安装教程:若你安装好ubuntu16.04版本之后,系统会自带 python2.7版本,如果需要下载新版本的python3.5,就需要进行更新。下面给出具体教程: 1. 首先在ubuntu的终端ternimal输入命令: sudo apt-get install python3 (博主选择的是安装python3.5,命令为:sudo apt-get install py...原创 2019-12-30 20:57:58 · 2998 阅读 · 0 评论 -
YOLO模型学习
Darknet介绍:https://blog.csdn.net/u010122972/article/details/83541978Darknet安装教程:https://pjreddie.com/darknet/install/YOLO原理:https://blog.csdn.net/zxyhhjs2017/article/details/83013297YOLO实践:https...原创 2019-12-29 14:06:27 · 167 阅读 · 0 评论 -
Ubantu16.04 + opencv3.4.3超详细教程
Opencv官网:https://opencv.org/releases/版本:Sources 3.4.3解压原创 2019-12-26 20:16:50 · 299 阅读 · 0 评论 -
Ubuntu16.04+CUDA8.0+cuDNN6.0安装教程
CUDA下载官方网站:https://developer.nvidia.com/cuda-toolkit-archive注:上述链接包含CUDA所有版本,可以随你挑选。cuda8.0下载直接链接:https://developer.nvidia.com/cuda-80-ga2-download-archiveCUDA8.0安装步骤:文件下载路径打开终端,输入命令:A、$ Run `s...原创 2019-12-26 10:11:52 · 280 阅读 · 0 评论