深度学习
Lavi_qq_2910138025
这个作者很懒,什么都没留下…
展开
-
Pytorch自定义网络结构+自定义数据加载+自定义Loss 全过程代码示例
1、限定使用GPU的序号import osos.environ['CUDA_VISIBLE_DEVICES'] = '3'os.system('echo $CUDA_VISIBLE_DEVICES')2、导入相关头文件import torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.utils...转载 2018-11-26 17:23:27 · 2186 阅读 · 1 评论 -
ResNet解析
0 前言ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域都纷纷使用ResNet,Alpha zero也使用了ResNet,所以可见ResNet确实很好用。下面我们从实用的角度去看看ResNet。1.ResNet意义随着...转载 2018-12-19 22:03:19 · 583 阅读 · 0 评论 -
深度学习框架卷积时的数据格式
pytorch:[b,channel,h,w]tensorflow:caffe:原创 2018-12-11 10:43:31 · 496 阅读 · 0 评论 -
卷积神经网络特征图大小的计算
前言特征图大小计算式卷积神经网络中一个很基础的问题,也是一个必须理解的问题。卷到最后我们要知道提取的特征的维度的大小,所以我们必须知道,卷积后特征图的大小。这里我们讲解一下卷积的不同方式以及特征图大小计算的公式。基本公式width = [(W - F + 2P) + 1] / Sheight = [(H - F + 2P) + 1] / S其中,W:矩阵宽,H:矩阵高,F:卷积核宽和...原创 2019-03-04 13:31:35 · 27769 阅读 · 2 评论 -
卷积神经网络感受野的计算
1 到底什么是“感受野”(接受野)?——Receptive Field“感受野”的概念来源于生物神经科学,比如当我们的“感受器”,比如我们的手受到刺激之后,会将刺激传输至中枢神经,但是并不是一个神经元就能够接受整个皮肤的刺激,因为皮肤面积大,一个神经元可想而知肯定接受不完,而且我们同时可以感受到身上皮肤在不同的地方,如手、脚,的不同的刺激,如痛、痒等。这说明皮肤感受器是由很多不同的神经元控制的,...转载 2019-03-04 16:14:47 · 1898 阅读 · 3 评论 -
批归一化(Batch Normalization)
先保存两篇博客,注意卷积神经网络的的BN是怎么实现的:【深度学习】批归一化(Batch Normalization)卷积神经网络CNN(2)—— BN(Batch Normalization) 原理与使用过程详解...转载 2019-03-24 15:58:28 · 840 阅读 · 0 评论 -
理解maxout激活函数
深度学习(二十三)Maxout网络学习深度学习笔记–激活函数:sigmoid,maxoutA Light CNN for Deep Face Representation with Noisy Labels以上两篇博客都是针对全连接网络来列举的例子,注意在卷积神经网络中是什么样的。详细的以后有时间再整理。...转载 2019-05-24 19:40:33 · 2522 阅读 · 0 评论 -
通俗实例理解神经网络BP传播算法
在学习深度学习相关知识,无疑都是从神经网络开始入手,在神经网络对参数的学习算法bp算法,接触了很多次,每一次查找资料学习,都有着似懂非懂的感觉,这次趁着思路比较清楚,也为了能够让一些像我一样疲于各种查找资料,却依然懵懵懂懂的孩子们理解,参考了梁斌老师的博客BP算法浅谈(Error Back-propagation)(为了验证梁老师的结果和自己是否正确,自己python实现的初始数据和梁老师定义为一...转载 2019-08-06 19:06:22 · 696 阅读 · 0 评论 -
卷积神经网络参数量和计算量的计算
0 前言我们在设计一个CNN网络时,通常要考虑两个事情,一个是这个网络需要的计算量有多大,一个是这个模型的参数量有多少。前者决定了网络训练的快慢(硬件设备确定的情况),后者决定了计算设备需要多大的内存或显存。本文CNN的计算量以计算机做乘加次数为单位,即完成某个操作,需要执行多少次乘法和加法操作。参数量以参数个数为单位,要计算内存或显存的,用参数量乘以每个参数所占的字节数即可。1 计算量...原创 2019-08-15 15:49:08 · 25156 阅读 · 23 评论 -
神经网络BP反向传播算法原理和详细推导流程
神经网络的反向传播算法1 反向传播算法和BP网络简介2 信息的前向传播3 误差反向传播3.1 输出层的权重参数更新3.2 隐藏层的权重参数更新3.3输出层和隐藏层的偏置参数更新3.4 BP算法四个核心公式3.5 BP 算法计算某个训练数据的代价函数对参数的偏导数3.6 BP 算法总结:用“批量梯度下降”算法更新参数4 梯度消失问题及其解决办法5 加快 BP 网络训练速度:Rprop 算法1 ...转载 2019-08-24 20:56:53 · 1637 阅读 · 0 评论 -
卷积神经网络(CNN)的反向传播
0 前言学习CNN的反向传播算法之前最后先弄明白全连接网络的反向传播算法。裂墙推荐这个篇博客神经网络BP反向传播算法原理和详细推导流程,保证博到病除。CNN 中的卷积操作则不再是全连接的形式,因此 CNN 的 BP 算法需要在原始的算法上稍作修改。这篇文章主要讲一下 BP 算法在卷积层和 pooling 层上的应用。1 全连接网络的反向传播算法首先,用两个例子回顾一下原始的 BP 算法。(...转载 2019-08-25 23:10:59 · 934 阅读 · 0 评论 -
神经网络Dropout的原理和实现
1 为什么需要Dropout在机器学习的模型中,如果模型的参数太多,而训练样本又太少,训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题,过拟合具体表现在:模型在训练数据上损失函数较小,预测准确率较高;但是在测试数据上损失函数比较大,预测准确率较低。过拟合是很多机器学习的通病。如果模型过拟合,那么得到的模型几乎不能用。为了解决过拟合问题,一般会采用模型集成的方法,...转载 2019-08-21 16:36:38 · 4934 阅读 · 0 评论 -
目标检测困难样本挖掘OHEM:Online Hard Example Mining
0 前言OHEM是CVPR2016的文章,它提出一种通过online hard example mining 算法训练Region-based Object Detectors,其优点:1.对于数据的类别不平衡问题不需要采用设置正负样本比例的方式来解决,这种在线选择方式针对性更强。2.当数据集增大,算法可以在原来基础上提升更大。当我们遇到数据集少,且目标检测positive proposa...转载 2019-08-22 21:45:32 · 2416 阅读 · 4 评论 -
图卷积网络到底怎么做,这是一份极简的Numpy实现
由于图结构非常复杂且信息量很大,因此对于图的机器学习是一项艰巨的任务。本文介绍了如何使用图卷积网络(GCN)对图进行深度学习,GCN 是一种可直接作用于图并利用其结构信息的强大神经网络。本文将介绍 GCN,并使用代码示例说明信息是如何通过 GCN 的隐藏层传播的。读者将看到 GCN 如何聚合来自前一层的信息,以及这种机制如何生成图中节点的有用特征表征。选自TowardsDataScience,...转载 2019-09-13 20:42:37 · 528 阅读 · 0 评论 -
手写卷积运算
最近看到一个巨牛的人工智能教程,分享一下给大家。教程不仅是零基础,通俗易懂,而且非常风趣幽默,像看小说一样!觉得太牛了,所以分享给大家。平时碎片时间可以当小说看,【点这里可以去膜拜一下大神的“小说”】。从一个通道的图片进行卷积生成新的单通道图的过程很容易理解,对于多个通道卷积后生成多个通道的图理解起来有点抽象。本文以通俗易懂的方式讲述卷积,并辅以图片解释,能快速理解卷积的实现原理。最后手写pyt...转载 2019-09-14 22:49:06 · 3153 阅读 · 0 评论 -
空洞卷积(dilated convolution)理解
原文链接:空洞卷积(dilated convolution)理解转载 2019-09-22 09:14:33 · 445 阅读 · 0 评论 -
简单理解与实验生成对抗网络GAN
之前GAN网络是近两年深度学习领域的新秀,火的不行,本文旨在浅显理解传统GAN,分享学习心得。现有GAN网络大多数代码实现使用python、torch等语言,这里,后面用matlab搭建一个简单的GAN网络,便于理解GAN原理。GAN的鼻祖之作是2014年NIPS一篇文章:Generative Adversarial Net,可以细细品味。分享一个目前各类GAN的一个论文整理集合再...转载 2018-09-06 18:47:46 · 432 阅读 · 0 评论 -
【Tensorflow】tf.app.run()与tf.app.flags.FLAGS
tf.app.run与tf.app.flags.FLAGStf.app.run()联合使用tf.app.run()首先给出一段常见的代码:if __name__ == '__main__': tf.app.run()找到Tensorflow中关于上述函数run()的源码:def run(main=None, argv=None): """Runs the program w...转载 2018-11-21 15:30:56 · 359 阅读 · 0 评论 -
目标检测中召回率(Recall),精确率(Precision),平均正确率(Average_precision(AP) ),交除并(Intersection-over-Union(IoU))
前言在训练YOLO v2的过程中,系统会显示出一些评价训练效果的值,如Recall,IoU等等。为了怕以后忘了,现在把自己对这几种度量方式的理解记录一下。 这一文章首先假设一个测试集,然后围绕这一测试集来介绍这几种度量方式的计算方法。大雁与飞机假设现在有这样一个测试集,测试集中的图片只由大雁和飞机两种图片组成,如下图所示: 假设你的分类系统最终的目的是:能取出测试集中所有...转载 2018-04-27 17:35:17 · 28523 阅读 · 3 评论 -
深度学习-Inception-ResNet-v1网络结构
最新的Inception-ResNet-v4最新的Inception V4的网络结构如下: 从图中可以看出,输入部分与V1到V3的输入部分有较大的差别,这样设计的目的为了:使用并行结构、不对称卷积核结构,可以在保证信息损失足够小的情况下,降低计算量。结构中1*1的卷积核也用来降维,并且也增加了非线性。 Inception-ResNet-v2 结构Inception-ResNet-v...转载 2018-06-06 09:11:21 · 2100 阅读 · 0 评论 -
神经网络训练loss不下降原因集合
train loss与test loss结果分析train loss 不断下降,test loss不断下降,说明网络仍在学习; train loss 不断下降,test loss趋于不变,说明网络过拟合; train loss 趋于不变,test loss不断下降,说明数据集100%有问题; train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,需要减小学习率或批...转载 2018-06-29 15:03:58 · 64331 阅读 · 24 评论 -
人脸识别论文列表
前言提起人脸识别算法,首先必须提到LFW——一个人脸识别的公开测试集。在深度学习快速发展的初期(2014年左右),LFW是国内外人脸识别算法公司的擂台,facebook、百度、face++、商汤等一系列的企业以及学校纷纷刷榜,标榜自己的人脸识别算法天下第一。下面笔者带领大家来看一看lfw数据集到底是怎么样子的。LFW风云录LFW的测试集由6000对人脸图片组成,3000对属于同一个...转载 2018-06-30 22:46:33 · 7755 阅读 · 1 评论 -
生成对抗网络论文列表
基于多阶段生成对抗网的延时摄影视频的生成(Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks)。给定第一帧图像,本文的模型可以预测未来帧。在其两阶段模型里面,第一个阶段生成具有逼真内容的延时摄影视频。第二个阶段对第一个阶段的结果进行优化,主要体现在增加动...原创 2018-06-30 22:57:28 · 558 阅读 · 0 评论 -
人脸识别——FaceBook的DeepFace、Google的FaceNet
DeepFace–Facebook的人脸识别连续看了DeepID和FaceNet后,看了更早期的一篇论文,即FB的DeepFace。这篇论文早于DeepID和FaceNet,但其所使用的方法在后面的论文中都有体现,可谓是早期的奠基之作。因而特写博文以记之。DeepFace基本框架人脸识别的基本流程是:detect -> aligh -> represent ->...转载 2018-07-12 12:55:22 · 2496 阅读 · 0 评论 -
FaceNet--Google的人脸识别
引入随着深度学习的出现,CV领域突破很多,甚至掀起了一股CV界的创业浪潮,当次风口浪尖之时,Google岂能缺席。特贡献出FaceNet再次刷新LFW上人脸验证的效果记录。本文是阅读FaceNet论文的笔记,所有配图均来自于论文。 转载请注明:http://blog.csdn.net/stdcoutzyx/article/details/46687471FaceNet与其他...转载 2018-07-12 13:05:30 · 877 阅读 · 0 评论 -
DeepID人脸识别算法的进化
前言DeepID,目前最强人脸识别算法,已经三代。如今,深度学习方兴未艾,大数据风起云涌,各个领域都在处于使用深度学习进行强突破的阶段,人脸识别也不例外,香港中文大学的团队使用卷积神经网络学习特征,将之用于人脸识别的子领域人脸验证方面,取得了不错的效果。虽然是今年7月份才出的成果,但连发三箭,皆中靶心,使用的卷积神经网络已经改进了三次,破竹之势节节高。故而在这里将DeepID神经网络的三代...转载 2018-07-12 14:35:48 · 963 阅读 · 0 评论 -
mtcnn坐标分析
前言本文为个人随笔,为了记录阅读facenet中使用的mtcnn的代码的一些笔记。本文使用的是https://github.com/davidsandberg/facenet 中实现的mtcnn的代码。这个facenet的代码中有使用mtcnn的代码。本文主要记录mtcnn返回的关键点坐标和boxes框坐标的顺序。正文写了一个测试的代码如下import cv2import n...原创 2018-07-13 20:50:50 · 3834 阅读 · 1 评论 -
MTCNN(Multi-task convolutional neural networks)将多任务级联卷积神经网络用于人脸检测和对齐
前言本文为论文Multi-task convolutional neural networks的关键内容翻译。1. 摘要摘要:由于姿势、光照或遮挡等原因,在非强迫环境下的人脸识别和对齐是一项具有挑战性的问题。最近的研究显示,深度学习算法可以很好的解决上述的两个问题。在这篇文章中,我们利用检测和校准之间固有的相关性在深度级联的多任务框架下来提升它们的性能。尤其是,我们利用三层级联架构结合...转载 2018-07-14 10:46:09 · 6039 阅读 · 0 评论 -
深度学习中embedding的含义
Embedding在数学上表示一个maping,f: X ->Y也就是一个function,其中该函数是injective(就是我们所说的单射函数,每个Y只有唯一的X对应,反之亦然)和structure-preserving (结构保存,比如在X所属的空间上X1 < X2,那么映射后在Y所属空间上同理 Y1 < Y2)。那么对于word embedding,就是将单词word...转载 2018-10-11 15:34:19 · 14387 阅读 · 0 评论 -
卷积神经网络中1x1卷积的作用
1. 来源[1312.4400] Network In Network (如果1×1卷积核接在普通的卷积层后面,配合激活函数,即可实现network in network的结构)2. 应用GoogleNet中的Inception、ResNet中的残差模块3. 作用1、降维(减少参数)例子1 : GoogleNet中的3a模块输入的feature map是28×28×1921×1卷积...转载 2018-11-09 19:25:08 · 2178 阅读 · 1 评论 -
如何将卷积神经网络中的全连接层变成卷积层
全连接层实际就是卷积核大小为上层特征大小的卷积运算,一个卷积核卷积后的结果为一个节点,就对应全连接层的一个神经元。假设: 最后一个卷积层的输出为7×7×512,连接此卷积层的全连接层为1×1×4096(相当于全连接网络有4096个神经元)。相当于一个全链接网络的输入层有7×7×512个输入神经元,下一层有4096个神经元。如果将这个全连接层转化为卷积层:1.共需要4096组滤波器2.每组...转载 2018-11-09 19:38:42 · 4028 阅读 · 0 评论 -
理解3D CNN及3D卷积
前言这篇博客主要详细介绍3D CNN框架结构的计算过程,我们都知道3D CNN 在视频分类,动作识别等领域发挥着巨大的优势,前两个星期看了这篇文章:3D Convolutional Neural Networks for Human Action Recognition,打算用这个框架应用于动态表情识别,当时对这篇文章的3 D CNN各层maps的计算不怎么清楚,所以自己另外对3D CNN结构层...原创 2018-11-18 17:22:01 · 82881 阅读 · 12 评论 -
SEnet详解
我是 Momenta 的高级研发工程师胡杰,很高兴可以和大家分享我们的 SENet。借助我们提出的 SENet,我们团队(WMW)以极大的优势获得了最后一届 ImageNet 2017 竞赛 Image Classification 任务的冠军,并被邀请在 CVPR 2017 的 workshop(Beyond ImageNet)中给出算法介绍。下面我将介绍我们提出的 SENet,论文和代码会在近...转载 2018-11-14 22:32:40 · 17045 阅读 · 0 评论 -
人脸检测算法PyramidBox
原文链接:PyramidBox 中文翻译及阅读笔记转载 2019-09-23 10:54:04 · 368 阅读 · 1 评论