DeepLearning
lcczzu
这个作者很懒,什么都没留下…
展开
-
Understanding Convolution in Deep Learning
Convolution is probably the most important concept in deep learning right now. It was convolution and convolutional nets that catapulted deep learning to the forefront of almost any machine learning t...转载 2018-12-21 09:36:55 · 1171 阅读 · 0 评论 -
深度神经网络(DNN)反向传播算法(BP)
----------------------------------------------原文:https://www.cnblogs.com/pinard/p/6422831.html转载 2019-05-27 10:44:00 · 138 阅读 · 0 评论 -
卷积神经网络(CNN)反向传播算法
---------------------------------------------------------------原文:https://www.cnblogs.com/pinard/p/6494810.html转载 2019-05-27 10:49:56 · 156 阅读 · 0 评论 -
卷积神经网络(CNN)前向传播算法
------------------------------------------------------------------原文:https://www.cnblogs.com/pinard/p/6489633.html转载 2019-05-27 10:57:53 · 341 阅读 · 0 评论 -
lenet-5,Alexnet详解以及tensorflow代码实现
Lenet-5是Yann LeCun提出的,对MNIST数据集的分识别准确度可达99.2%。下面简要介绍下每层的结构:第一层:卷积层该层的输入是原始图像的像素值,以MNIST数据集为例,则是28x28x1,第一层过滤器尺寸为5x5,深度设置为6,不适用0去填充,因此该层的输出尺寸是28-5+1=24,深度也为6.第二层:池化层接受第一层的输出作为输入,过滤器大小选为2x2,步长...转载 2019-06-14 17:41:02 · 1390 阅读 · 0 评论 -
卷积神经网络之AlexNet网络详解
一 介绍Alex Krizhevsky等人训练了一个大型的卷积神经网络用来把ImageNet LSVRC-2010比赛中120万张高分辨率的图像分为1000个不同的类别。在测试卷上,获得很高准确率(top-1 and top-5 error rates of 37.5%and 17.0% ).。通过改进该网络,在2012年ImageNet LSVRC比赛中夺取了冠军,且准确率远超第二名(to...转载 2019-06-14 18:01:01 · 6394 阅读 · 2 评论 -
用Tensorflow实现经典CNN网络AlexNet
什么是AlexNet? AlexNet在ILSVRC-2012的比赛中获得top5错误率15.3%的突破(第二名为26.2%),其原理来源于2012年Alex的论文《ImageNet Classification with Deep Convolutional Neural Networks》,这篇论文是深度学习火爆发展的一个里程碑和分水岭,加上硬件技术的发展,深度学习还会继续火下去。...转载 2019-06-14 18:38:49 · 440 阅读 · 0 评论 -
卷积神经网络之经典网络LeNet-5、AlexNet、VGG-16、ResNet
一 实例探索卷积神经网络的基本构建,比如卷积层、池化层以及全连接层这些组件。事实上,过去几年计算机视觉研究中的大量研究都集中在如何把这些基本构件组合起来,形成有效的卷积神经网络。最直观的方式之一就是去看一些案例,就像很多人通过看别人的代码来学习编程一样,通过研究别人构建有效组件的案例是个不错的办法。实际上在计算机视觉任务中表现良好的神经网络框架往往也适用于其它任务,也许你的任务也不例外。也就是...转载 2019-06-14 20:49:56 · 2783 阅读 · 0 评论 -
Tensorflow:AlexNet的实现(CIFAR-10数据集)
一、模型模型向前向后传播时间的计算请参考:Tensorflow深度学习之十:Tensorflow实现经典卷积神经网络AlexNet二、工程结构由于我自己训练的机器内存显存不足,不能一次性读取10000张图片,因此,在这之前我按照图片的类别,将每一张图片都提取了出来,保存成了jpg格式。与此同时,在保存图片的过程中,存储了一个python的dict结构,键为每一张图片的相对地...转载 2019-06-14 21:00:05 · 1513 阅读 · 0 评论 -
计算卷积后尺寸
这里单独把计算卷积之后的维度的公式拿出来,方便查看1.卷积后尺寸计算out_height=(in_height+2pad-filter_height)/strides[1]+1out_width=(in_width+2pad-filter_width)/strides[2] +12.tensorflow中卷积参数same和valid运算之后的维度计算(1)sameou...转载 2019-06-11 10:39:02 · 2054 阅读 · 0 评论 -
神经网络(Neural Networks)反向传播计算梯度
以激活函数f为ReLU,损失函数为softmax的交叉熵损失的3-layer神经网络为例,给出完整的计算各层梯度的过程(下图中,W3的 size 应该是 [H,C]):原创 2019-05-27 10:05:26 · 747 阅读 · 0 评论 -
直观理解深度学习卷积部分
本文为雷锋字幕组编译的技术博客,原标题 Intuitively Understanding Convolutions for Deep Learning,作者为 Irhum Shafkat。翻译 | 于志鹏 赵朋飞 校对 | 翟修川 整理 | 凡江近几年随着功能强大的深度学习框架的出现,在深度学习模型中搭建卷积神经网络变得十分容易,甚至只需要一行代码就可以...转载 2018-12-21 20:51:40 · 784 阅读 · 0 评论 -
CNN笔记:通俗理解卷积神经网络
目录1 前言2 人工神经网络3 卷积神经网络之层级结构4 CNN之卷积计算层5 CNN之激活层与池化层6 参考文献及推荐阅读 1 前言 在dl中,有一个很重要的概念,就是卷积神经网络CNN,基本是入门dl必须搞懂的东西。本文基本根据斯坦福的机器学习公开课、cs231n、与七月在线寒小阳讲的5月dl班第4次课CNN与常用框架视频所写,是一篇课程笔记。 ...转载 2018-12-22 11:24:18 · 978 阅读 · 0 评论 -
通俗理解『卷积』——从傅里叶变换到滤波器
引子因研究兴趣不在图像处理,所以对图像中的『卷积』操作未做深入思考,直到某天,灵光一闪,我突然意识到图像『卷积』应该可以和『信号处理』联系起来更进一步图像卷积的本质,是提取图像不同『频段』的特征然而放眼望去,市面上大谈特谈『卷积』的文章,各种雷同,互相『借鉴』,都是在讲解卷积的不同方式、卷积的参数共享、卷积的具体操作、卷积在图像上的效果,竟鲜有一篇像样的文章,真正触及『卷积』的...转载 2018-12-23 10:10:41 · 2694 阅读 · 4 评论 -
SSD-TensorFlow 源码解析
本文解析的是SSD的tensorflow实现源码,来源 Github: balancap/SSD-Tensorflow。目录1.anchor boxes生成:通过模型获得位置信息与分类信息,并获取默认anchors信息,得到预测结果。2.ground truth预处理将Ground Truth进行预处理(使得Ground Truth与预测结果一一对应)。3.网络结构4....原创 2019-01-10 21:31:25 · 1108 阅读 · 0 评论 -
Soft(er)-NMS:非极大值抑制算法的两个改进算法
论文连接:Soft-NMS – Improving Object Detection With One Line of Code Softer-NMS: Rethinking Bounding Box Regression for Accurate Object Detection之前用了一篇博客详细说明了NMS的原理,Cython版加速实现和CUDA加速版实现,然而NMS还是存在一些问题...转载 2019-01-17 10:19:16 · 14698 阅读 · 1 评论 -
Yolov3边框预测分析
我们读yolov3论文时都知道边框预测的公式,然而难以准确理解为何作者要这么做,这里我就献丑来总结解释一下个人的见解,总结串联一下学习时容易遇到的疑惑,期待对大家有所帮助,理解错误的地方还请大家批评指正,我只是个小白哦,发出来也是为了与大家多多交流,看看理解的对不对。论文中边框预测公式如下:其中,Cx,Cy是feature map中grid cell的左上角坐标,在yolov3中每个g...转载 2019-01-07 09:48:29 · 5922 阅读 · 2 评论 -
深度学习中的epoch、batch与iterations
1.epoch训练时,所有训练数据集通过网络训练一次(一次前向传播+一次后向传播);测试时,所有测试数据集通过网络一次(一次前向传播)。2.batchbatch_size,在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目,通常设为2的n次幂,常用的包括64,128,256。 网络较小时选用256,较大时选用64。full batch,batch_size =...原创 2019-04-12 22:00:05 · 2264 阅读 · 0 评论 -
BN反向传播求导
方法1:这里为什么是,而不是,这里要看一下的公式了,因为公式的特性,它的分子上、分母上包含了所有的输出,所以,对于不等于的其他输出里面,也包含着,所有的都要纳入到计算范围中,并且后面的计算可以看到需要分为,两种情况求导。方法2:...原创 2019-04-25 16:47:10 · 2173 阅读 · 0 评论 -
CS231n (winter 2016) : Assignment2
目录前言:Part 1:深层全连接神经网络(python编程任务)1. 2-layer全连接神经网络2. Multilayer全连接网络 + Batch Normalization3. DropoutPart 2:卷积神经网络(Convolutional Neural Networks, CNNs)1. 卷积层(Convolutional Layer)2. 池化层(...转载 2019-05-26 21:48:59 · 526 阅读 · 0 评论 -
tf.nn.max_pool实现池化操作
max pooling是CNN当中的最大值池化操作,其实用法和卷积很类似,有些地方可以从卷积去参考。tf.nn.max_pool(value, ksize, strides, padding, name=None)参数是四个,和卷积很类似:value:需要池化的输入,一般池化层接在卷积层后面,所以输入通常是feature map,依然是[batch, height, width, ch...转载 2019-06-11 11:10:12 · 565 阅读 · 0 评论