- 博客(31)
- 收藏
- 关注
RSS订阅原创 深度学习之生成器迭代器
注：借鉴整理，仅供自学，侵删pytorch::Dataloader中的迭代器和生成器应用详解pytorch中的数据加载模块 Dataloader，使用生成器来返回数据的索引，使用迭代器来返回需要的张量数据，可以在大量数据情况下，实现小批量循环迭代式的读取，避免了内存不足问题。...
2021-03-24 15:44:53
513
原创 神经网络复现之Pytorch-SSD
博客链接视频链接一些总结：nets文件夹下vgg.py和ssd.py的add_extras将层添加到layers列表里。
2021-03-18 10:05:26
343
原创 Python学习之切片
注：借鉴整理，仅供自学，侵删python中[:,2]是什么意思Python中[ : n]、[m : ]、[-1]、[:-1]、[::-1]、[2::-1]和[1:]的含义
2021-03-17 11:17:51
68
原创 深度学习&Python常用英文
jaccard overlap 交并比receptive field 感受野dense 稠密anchor = default box？ 先验框aspect ratios 长宽比bounding boxes 边界框bounding regression 边界回归permute 置换bottleneck 瓶颈enumerate 枚举
2021-03-16 21:04:52
158
原创 Python学习之编译器解释器
注：借鉴整理，仅供自学，侵删编译器：讲其他语言翻译成机器语言（01）的工具编译型语言：（如C语言）统一编译一次性执行。运行速度快，不可跨操作系统运行解释型语言：（python）翻译一行执行一行。运行速度慢，可跨操作系统运行。...
2021-03-15 21:35:48
67
原创 深度学习经典论文（七）R-CNN
注：借鉴整理，仅供自学，侵删简单来说，分类、定位和检测的区别如下：classify：是什么？localization：在哪里？是什么？（单个目标）detection：在哪里？分别是什么？（多个目标）1 算法流程RCNN算法分为4个步骤：一张图像生成1K~2K个候选区域对每个候选区域，使用深度网络提取特征特征送入每一类的SVM 分类器，判别是否属于该类使用回归器精细修正候选框位置...
2021-03-11 21:57:09
149
1
原创 深度学习之BN层
注：借鉴整理，仅供自学一批数据同通道归一处理在深度学习中，因为网络的层数非常多，如果数据分布在某一层开始有明显的偏移，随着网络的加深这一问题会加剧(这在BN的文章中被称之为internal covariate shift)，进而导致模型优化的难度增加，甚至不能优化。所以，归一化就是要减缓这个问题博主讲的很好，直接借鉴，嘻嘻深度学习中 Batch Normalization为什么效果好？Batch Normalization 学习笔记(1)你可以选择比较大的初始学习率，让你的训练速度飙涨。以前还需
2021-03-11 18:59:50
1244
原创 深度学习之激活函数
注：借鉴整理，仅供自学要解决的很多问题大都是非线性问题，没有激活函数的神经网络输出都是输入的线性组合，因此需要引入激活函数，增加网络模型的非线性。激活函数：激活函数的引入是为了增加神经网络模型的非线性，没有激活函数每层就相当于矩阵相乘。每一层输出都是上层的输入的线性函数，无论神经网络多少层，输出都是输入的线性组合，就是最原始的感知机。加入激活函数，给神经元引入非线性因素，神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。神经网络用于实现复杂的函数，而非线性激活函数能够使神
2021-03-11 17:19:15
157
原创 深度学习经典论文（五）Inception V4
注：借鉴整理，仅供自学1 动机下面的准则来源于大量的实验，因此包含一定的推测，但实际证明基本都是有效的：避免表达瓶颈，特别是在网络靠前的地方。 信息流前向传播过程中显然不能经过高度压缩的层，即表达瓶颈。从input到output，feature map的宽和高基本都会逐渐变小，但是不能一下子就变得很小。比如你上来就来个kernel = 7, stride = 5 ,这样显然不合适。另外输出的维度channel，一般来说会逐渐增多(每层的num_output)，否则网络会很难训练。（特征维度并不代表信
2021-03-11 17:04:19
175
原创 深度学习之padding
注：借鉴整理，仅供自学Valid：用过滤器在输入的矩阵中按步长移动时候，会把最后的不足部分的列和行抛弃。Same：先在输入矩阵上下各加个值为0的行，在左右各加个值为0的列，也就是用0把原先的矩阵包裹一层，然后在移动的时候如果输入矩阵的列或者行长度不够，就用0来补齐。...
2021-03-11 11:49:37
696
原创 深度学习经典论文（六）ResNet
注：借鉴整理，仅供自学1 提出背景我们知道，网络越深，咱们能获取的信息越多，而且特征也越丰富。但是根据实验表明，随着网络的加深，优化效果反而越差，测试数据和训练数据的准确率反而降低了。这是由于网络的加深会造成梯度爆炸和梯度消失的问题。（目前针对这种现象已经有了解决的方法：对输入数据和中间层的数据进行归一化操作，这种方法可以保证网络在反向传播中采用随机梯度下降（SGD），从而让网络达到收敛。但是，这个方法仅对几十层的网络有用，当网络再往深处走的时候，这种方法就无用武之地了。）另一个问题，就是退化问题。网
2021-03-10 21:08:20
512
原创 深度学习之感受野
注：借鉴整理，仅供自学在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。有些介绍是卷积神经网络每一层输出的特征图（feature map）上的像素点在上一层映射的区域大小。（角度不同，一个是全局来看，一个是局部上的）卷积神经网络中感受野的详细介绍...
2021-03-10 10:37:16
69
原创 深度学习经典论文（四）Inception V3
注：借鉴整理，仅供自学1 动机下面的准则来源于大量的实验，因此包含一定的推测，但实际证明基本都是有效的：避免表达瓶颈，特别是在网络靠前的地方。 信息流前向传播过程中显然不能经过高度压缩的层，即表达瓶颈。从input到output，feature map的宽和高基本都会逐渐变小，但是不能一下子就变得很小。比如你上来就来个kernel = 7, stride = 5 ,这样显然不合适。另外输出的维度channel，一般来说会逐渐增多(每层的num_output)，否则网络会很难训练。（特征维度并不代表信
2021-03-09 17:11:16
610
原创 深度学习经典论文（三）GoogLeNet
注：借鉴整理，仅供自学1 动机既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能一般认为，网络越稀疏则越不容易过拟合，但过于稀疏性能又容易下降同时计算性价比又不高。GoogLeNet采用了多个小分支的结合，每个分支可以看作较为稀疏，但合并之后又成为一个大的密集矩阵。Inception 结构的主要思路是怎样用密集成分来近似最优的局部稀疏结构把可能用到的不同大小（既可以提取不同特征）的卷积核都用上，让网络自己学习，有用的权值大，无用的权值小（趋于0？）2 产生网络更深更宽的缺点：当训练集有
2021-03-09 16:30:02
506
原创 深度学习之稀疏连接&权值共享
注：借鉴整理，仅供自学博客写的很好，直接copy哈哈哈热评：每一个卷积核只能提取到一个特征。所以，卷积层会有多个卷积核，来提取不同种类的特征。卷积神经网络的局部连接和权值共享如何理解卷积神经网络中的权值共享如何理解卷积神经网络中的权值共享？...
2021-03-09 10:49:05
889
原创 深度学习之全连接层
注：借鉴整理，仅供自学1 介绍全连接层也是一种卷积层。它的参数基本和卷积层的参数一样，只是它的卷积核大小和原数据大小一致。起到将学到的“分布式特征表示”映射到样本标记空间的作用。用 global average pooling 取代 FC，已经成为了大势所趋。全连接层的计算2 每次输入特征图尺寸必须一样...
2021-03-08 20:31:40
535
原创 深度学习之池化层
注：借鉴整理，仅供自学对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征。池化层往往在卷积层后面，通过池化来降低卷积层输出的特征向量，同时改善结果（不易出现过拟合）。评估特征提取的误差主要来自两个方面：（1）邻域大小受限造成的估计值方差增大，average能减小这种误差。（2）卷积层参数误差造成估计均值的偏移，max能减小这种误差。也就是说，average对背景保留更好，max对纹理提取更好。1 最大池化平移不变性2 平均池化...
2021-03-04 11:38:37
1431
1
原创 深度学习经典论文（二）VGGNet
注：借鉴整理，仅供自学1 数据集ImageNet：1500万个带标签的高分辨率图像的数据集，这些图像大约属于22,000个类别。输入图片大小224*224（256提取224数据增强）227？。2 ReLU激活函数ReLU为非饱和函数，验证其效果在较深的网络超过了SIgmoid，成功解决了SIgmoid在网络较深时的梯度弥散问题，学习速度更快3 GPU并行运算4 覆盖的最大池化在以前的CNN中普遍使用平均池化层，AlexNet全部使用最大池化层，避免了平均池化层的模糊化的效果，并且步长比池化
2021-03-03 15:29:28
266
1
原创 深度学习经典论文（一）AlexNet
1 数据集ImageNet：1500万个带标签的高分辨率图像的数据集，这些图像大约属于22,000个类别。输入图片大小224*224（256提取224数据增强）。2 ReLU激活函数学习速度更快3 GPU并行运算4 网络架构5 减少过拟合Data Augmentation（GPU训练，CPU数据增强）1.1 图像平移和水平翻转1.2 PCA算法（主成分分析），在一定程度上提高图片对光照强度和颜色变化的适应能力。Dropout（减少全连接层过拟合）：反向随机失活，失活后不参
2021-03-02 19:51:29
487
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人