深度学习
文章平均质量分 83
lhanchao
有问题请留言,私信不回,请见谅
展开
-
神经网络中前向传播和反向传播解析
虽然学深度学习有一段时间了,但是对于一些算法的具体实现还是模糊不清,用了很久也不是很了解,最近在看去年LeCun和Hinton在Nature上发表的deep learning的review,有两张图分别是讲得网络的前向传播和反向传播,下面记录一下。前向传播 如图所示,这里讲得已经很清楚了,前向传播的思想比较简单。 举个例子,假设上一层结点i,j,k,…等一些结点与本层的结点w有连接,那么结点w的原创 2016-05-15 21:22:27 · 28957 阅读 · 0 评论 -
[深度学习] Batch Normalization算法介绍
很早就打算写这篇博客了,最近遇到的问题比较多,所以拖了又拖,今天问题似乎解决了,等着程序运行的时候再来回顾一下Batch Normalization算法。 Batch Normalization是2015年Google研究员在论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covaria原创 2017-04-21 11:34:31 · 26399 阅读 · 2 评论 -
[深度学习] 反向传播的四个基本公式证明及算法流程
首先,我们来定义一些变量名:然后是以下四个公式的证明过程:最后我们得到反向传播算法的算法流程:PS:对着网上的教程推了小半天,现在总算记住了,没准以后面试就会考到 = = 不过反向传播是现在网络训练的数学基础,以前只是有感性的认识,现在数学公式一列还是清楚了不少。原创 2017-07-14 09:15:02 · 5487 阅读 · 4 评论 -
[深度学习] RCNNs系列(4)Faster RCNN介绍
Faster RCNN是Kaming He与RCNN作者共同完成的一项工作,也是目前在目标检测领域非常知名并应用广泛的一种深度学习框架。自2016年被提出以后成为了Detection领域的baseline,众多的算法都是在Faster RCNN的基础上进行的改进,同时介绍结果时也是一Faster RCNN的结果为标准。Faster RCNN实现了RCNNs系列中目标检测的端到端检测的过程。我现在做的原创 2017-06-30 22:30:52 · 5998 阅读 · 0 评论 -
[深度学习]RCNNs系列(3)Fast RCNN介绍
最近我做的任务一直没有什么进展,所以也没抽出时间来补RCNNs系列的博客,今天来补一下吧,不过最近又多调研了不少方法,有时间一起写出来。 为了节省时间,Fast RCNN我就不仔细按照论文介绍一遍了,这篇博客主要介绍Fast RCNN的核心思想。Fast RCNN是RCNN的作者提出的RCNN的改进版,它的研究基础是RCNN以及Kaming大神他们提出的SPPnet。RCNN就不用多说了,我前一篇原创 2017-06-29 20:30:23 · 2794 阅读 · 0 评论 -
[深度学习] 增加样本——弹性变换算法实现
我们都知道,深度学习的成功的原因主要有两点:(1)当前计算机的计算能力有很大提升;(2)随着大数据时代的到来,当前的训练样本数目有很大的提升。然而深度学习的一大问题是,有的问题并没有大量的训练数据,而由于深度神经网络具有非常强的学习能力,如果没有大量的训练数据,会造成过拟合,训练出的模型难以应用。因此对于一些没有足够样本数量的问题,可以通过已有的样本,对其进行变化,人工增加训练样本原创 2017-01-08 21:27:40 · 17881 阅读 · 22 评论 -
[深度学习] RCNNs系列(1) Ubuntu下Faster RCNN配置及训练和测试自己的数据方法
最近用到Faster RCNN进行目标检测,前前后后两周把RCNN,SPPNet,Fast RCNN和Faster RCNN大体调查了一遍,准备写一个RCNNs系列,后面还要加上今年最新的Mask RCNN。要想开个头,知道RCNNs在目标检测方向的优势,那就先用用作者的代码,跑跑自己的代码,下面就是在Ubuntu下进行Faster RCNN配置的方法。一、Faster RCNN环境配置及原创 2017-04-28 16:22:20 · 4218 阅读 · 0 评论 -
[深度学习]RCNNs系列(2)RCNN介绍
RCNN是整个RCNN系列的开端,也是使用卷积神经网络进行目标检测的一类重要方法的开端,下面我们来看一下RCNN算法。RCNN是rbg大神在2013年发表的《Rich feature hierarchies for accurate object detection and semantic segmentation》一文中提出的算法,其实算法的思想在现在来看非常的简单,而且也很容易想到,然而原创 2017-05-16 20:47:26 · 10943 阅读 · 0 评论 -
[深度学习]Deep Residual Learning for Image Recognition(ResNet,残差网络)阅读笔记
这一篇博文我们介绍的是大神何恺明的大作ResNet的论文,Kaming He绝对是我目前最崇拜的计算机视觉方面的大神,从12年的暗通道去雾的论文到这篇残差网络的论文,看完简直不能更爽,这里一定要隆重介绍一下。 这篇文章是介绍Kaming He等人组成的微软亚洲研究院的队伍参加ILSVRC 2015比赛中所用的网络结构的论文,残差网络一出,简直是把ImageNet上的classification任务原创 2017-03-27 15:30:53 · 11248 阅读 · 1 评论 -
[深度学习] Very Deep Convolutional Networks for Large-Scale Image Recognition(VGGNet)阅读笔记
先发发牢骚,最近的日子就是“准备数据集——想改进方法——跑实验——实验结果不好”的循环,熬得一点心情都没有了= =好了,废话不多说了,这篇VGGNet的论文是两三周之前看的了,而且最近撘的网络结构跟VGGNet很相像,就拿出来复习一下吧。这篇论文是牛津大学的几个人做出来,在ILSVRC 2014中的classification项目的比赛中取得了第2名的成绩(没错,第一就是上一篇博客中介绍的原创 2017-03-20 16:03:35 · 5984 阅读 · 1 评论 -
[深度学习] Going Deeper with Convolutions(GooLeNet)阅读笔记
这是介绍Szegedy等人参加ILSVRC 2014比赛中提出的网络结构(GooLeNet)的论文,在这里GooLeNet使用了22层的神经网络,获得了当年比赛中Classification和Detection项目的第一名。下面来详细的介绍这篇论文的内容。Abstract作者在论文中提出了一种新的名为Inception的深度神经网络结构,并在ILSVRC 2014的classification和de原创 2017-02-24 10:47:03 · 6192 阅读 · 2 评论 -
[深度学习]Visualizing and Understanding Convolutional Networks阅读笔记
现在我需要用到深度学习做图像分类的任务,虽然之前对CNN有过一定的了解,但我还是第一次真正使用它来解决问题,相关论文看的也比较少,最近恶补了一下近几年比较有名的关于深度学习的论文,写到博客上总结一下,接下来应该会陆续写一个系列。 《Visualizing and Understanding Convolutional Networks》一文是Matthew和Rob两人在2013年发表的论文,文章的原创 2017-02-18 12:46:14 · 3415 阅读 · 0 评论 -
Opencv + C++转换mnist数据集文件为图像
mnist数据集是深度学习入门的一个很经典的手写体数字的数据集,我们跑的第一个深度学习网络往往就是mnist数据集,但是它的数据格式比较特殊,今天就写个程序,把mnist数据集中的数据转换为图像,这样我们就可以利用这些数据把图像转换为像caffe、Tensorflow等要求的格式作为练习,以后对自己的学习任务的样本也可以这样做。废话不多说了,直接上代码,代码主要参考的是caffe中的conve原创 2016-12-07 11:37:30 · 2463 阅读 · 3 评论 -
论文阅读(1)——ImageNet Classification with Deep Convolutional Neural Networks
这篇论文主要讲的是Hinton和他的学生在参加LSVRC-2010和2012比赛中用到的网络结构。 主要分为以下几个方面:1.ReLU非饱和非线性激活函数这里主要讲的是ReLU函数相对与传统的sigmoid和tanh函数的优势。论文中提到ReLU属于非饱和非线性函数,性对于传统的sigmoid和tanh等饱和非线性激活函数有着收敛速度更快的优势。非饱和是指,随着x轴上变量的增大变得比较大时,y轴的翻译 2016-05-18 09:58:52 · 1223 阅读 · 0 评论 -
[深度学习]Ubuntu16.04 + GTX 1050 + cuda8.0 + cuDNN5.1 + caffe安装详解
首先吐个槽,ubuntu + nvidia的显卡驱动简直是反人类,害的我折腾了一天多。一、问题及解决办法寒假放假回家没事干,正好给家里电脑升级了显卡gtx1050可以跑跑CNN。我在实验室的显卡是560,比较老了,按着实验室的环境配置流程走下来居然不能用,症状就是在Python中不能成功的import caffe,然后重启后无限循环登录。问题:不能进入ubuntu的图形界面,在登录原创 2017-01-22 12:57:37 · 17756 阅读 · 10 评论