深度学习基础
文章平均质量分 95
shine-lee
莫听穿林打叶声,何妨吟啸且徐行
展开
-
彻底搞懂感受野的含义与计算
文章目录什么是感受野约定感受野大小感受野中心小结参考博客:博客园 | CSDN | blog什么是感受野The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at (i.e. be affected by).—— A guide ...原创 2019-12-19 17:52:49 · 1198 阅读 · 2 评论 -
直观理解为什么分类问题用交叉熵损失而不用均方误差损失?
文章目录交叉熵损失与均方误差损失损失函数角度softmax反向传播角度参考交叉熵损失与均方误差损失常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比,一共有KKK类,令网络的输出为[y^1,…,y^K][\hat{y}_1,\dots, \hat{y}_K][y^1,…,y^K],对应每个类别的概率,令label为 [y1,…,yK][y_1, \dots, y...原创 2019-12-12 22:30:11 · 4389 阅读 · 4 评论 -
Batch Normalization详解
文章目录动机单层视角多层视角什么是Batch NormalizationBatch Normalization的反向传播Batch Normalization的预测阶段Batch Normalization的作用几个问题卷积层如何使用BatchNorm?没有scale and shift过程可不可以?BN层放在ReLU前面还是后面?BN层为什么有效?参考博客:blog.shinelee.me |...原创 2019-12-05 15:30:47 · 1259 阅读 · 0 评论 -
网络权重初始化方法总结(下):Lecun、Xavier与He Kaiming
文章目录权重初始化最佳实践期望与方差的相关性质全连接层方差分析tanh下的初始化方法Lecun 1998Xavier 2010ReLU/PReLU下的初始化方法He 2015 for ReLUHe 2015 for PReLUcaffe中的实现小结参考博客:blog.shinelee.me | 博客园 | CSDN权重初始化最佳实践书接上回,全0、常数、过大、过小的权重初始化都是不好的,...原创 2019-11-22 09:08:11 · 2374 阅读 · 1 评论 -
网络权重初始化方法总结(上):梯度消失、梯度爆炸与不好的初始化
文章目录前向传播与反向传播回顾梯度消失与梯度爆炸激活函数的影响权重矩阵的影响不良初始化参考博客:blog.shinelee.me | 博客园 | CSDN前向传播与反向传播回顾神经网络的训练过程可以简化成以下步骤,输入预处理(feature scaling等)初始化网络weight和bias前向传播,得到网络输出计算损失函数,得到当前损失反向传播,根据链式法则,逐层回传得到损失函...原创 2019-11-07 09:24:11 · 2199 阅读 · 1 评论 -
一文搞懂 deconvolution、transposed convolution、sub-pixel or fractional convolution
文章目录写在前面什么是deconvolutionconvolution过程transposed convolution过程transposed convolution的计算整除的情况不整除的情况总结参考博客:blog.shinelee.me | 博客园 | CSDN写在前面开篇先上图,图为deconvolution在像素级语义分割中的一种应用,直观感觉deconvolution是一个ups...原创 2019-09-20 21:00:20 · 1997 阅读 · 1 评论 -
卷积神经网络中的Winograd快速卷积算法
文章目录参考博客:blog.shinelee.me | 博客园 | CSDN图片出自论文Sparse Winograd Convolutional neural networks on small-scale systolic arrays参考arxiv: Fast Algorithms for Convolutional Neural Networksvideo: Fast Alg...原创 2019-05-22 16:06:01 · 4432 阅读 · 13 评论 -
im2col:将卷积运算转为矩阵相乘
博客:blog.shinelee.me | 博客园 | CSDNim2col实现如何将卷积运算转为矩阵相乘?直接看下面这张图,以下图片来自论文High Performance Convolutional Neural Networks for Document Processing:上图为3D卷积的传统计算方式与矩阵乘法计算方式的对比,传统卷积运算是将卷积核以滑动窗口的方式在输入图上滑动,...原创 2019-04-26 18:03:05 · 2109 阅读 · 1 评论 -
Group Convolution分组卷积,以及Depthwise Convolution和Global Depthwise Convolution
博客:blog.shinelee.me | 博客园 | CSDNGroup Convolution分组卷积,最早见于AlexNet,就是2012年Imagenet的冠军方法,Group Convolution被用来将切分网络,使其在2个GPU上并行运行,AlexNet网络结构如下:在介绍Group Convolution前,先回顾下常规卷积加粗样式是怎么做的。如果输入feature map尺...原创 2019-01-09 10:57:30 · 7419 阅读 · 6 评论 -
直观理解神经网络最后一层全连接+Softmax
深度学习的最后一层往往是全连接层+Softmax(分类网络),如下图所示,图片来自StackExchange。通常,将网络最后一个全连接层的输入,即上图中的x,视为网络学到的特征。\mathrm{x},视为网络学到的特征。x,视为网络学到的特征。网络的最终输出为每个类别的概率,类别总数为KKK,第jjj个类别的概率为y^j\hat{y}_jy^j,计算方式如下yj^=softmax(zj...原创 2018-12-06 17:32:12 · 51470 阅读 · 10 评论 -
卷积神经网络之卷积计算、作用与思想
博客:blog.shinelee.me | 博客园 | CSDN卷积运算与相关运算在计算机视觉领域,卷积核、滤波器通常为较小尺寸的矩阵,比如3×33\times33×3、5×55\times55×5等,数字图像是相对较大尺寸的2维(多维)矩阵(张量),图像卷积运算与相关运算的关系如下图所示(图片来自链接),其中FFF为滤波器,XXX为图像,OOO为结果。相关是将滤波器在图像上滑动,对应位置...原创 2018-11-08 21:45:31 · 2353 阅读 · 0 评论 -
论文学习-系统评估卷积神经网络各项超参数设计的影响-Systematic evaluation of CNN advances on the ImageNet
写在前面论文状态:Published in CVIU Volume 161 Issue C, August 2017论文地址:https://arxiv.org/abs/1606.02228github地址:https://github.com/ducha-aiki/caffenet-benchmark在这篇文章中,作者在ImageNet上做了大量实验,对比卷积神经网络架构中各项超参数选择...原创 2018-11-10 11:23:17 · 1234 阅读 · 0 评论