深度学习
文章平均质量分 51
Vic时代
这个作者很懒,什么都没留下…
展开
-
自动驾驶学习资料
课程MIT 6.S094: Deep Learning for Self-Driving Cars. 2017.原创 2018-05-14 21:29:26 · 3551 阅读 · 0 评论 -
深度学习之OCR(四)——Attention机制_soft attention
待研究原创 2017-07-03 15:42:11 · 3101 阅读 · 0 评论 -
深度学习之OCR(五)——Attention机制_gradient-based attention
Look and Think Twice: Capturing Top-Down Visual Attention with Feedback. Chunshui Cao, Xianming Liu, Yi Yang, Yinan Yu, Jiang Wang, Zilei Wang. ICCV 2015.原创 2017-07-03 15:45:03 · 4070 阅读 · 0 评论 -
深度学习——Batch Normalization
参考[1] Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift. Sergey Ioffe, Christian Szegedy. 2015. [2] 博客:Batch Normalization导读,张俊林原创 2017-06-22 10:05:11 · 623 阅读 · 0 评论 -
深度学习——训练trick
http://yyue.blogspot.com/2015/01/a-brief-overview-of-deep-learning.htmlhttp://cs231n.github.io/neural-networks-3/#gradcheck原创 2017-05-29 10:00:01 · 2051 阅读 · 1 评论 -
深度学习——激活函数
激活函数值应该是zero-centeredSigmoid激活函数值全正,并不以0为中心。这会导致参数梯度要么全为正,要么全为负。见cs231n的Lecture 5 34-35页.原创 2017-06-30 17:04:33 · 839 阅读 · 0 评论 -
自问自答2——深度学习中梯度消失/爆炸为什么是一个问题?(待完善)
我们知道SGD只是用来求解优化问题的一种方法:沿着负梯度方向找到损失最小值。所以SGD的核心就是计算梯度以得到参数更新。而在深层神经网络中,反向传播时很容易发生梯度消失或者梯度爆炸的问题。我们认为这两种情况是非常危险的,要极力避免。 无论梯度消失或者梯度爆炸,这些梯度仍旧指引着使得损失减小的参数方向。那为什么要把梯度消失或者梯度爆炸看做一个问题呢?看起来要归咎于更新步长了。当参数梯度过小时,会导致原创 2017-06-22 17:07:24 · 2900 阅读 · 0 评论 -
自问自答3——深度学习中如何避免梯度消失(待回答)
上一问中,我们回答了为什么要避免梯度爆炸/消失现象。那么为了避免这种现象的发生,我们必须知道这种现象的源头。所以这一节我们要探讨为什么会发生梯度爆炸/消失?或者等价地说成什么情况下会发生梯度爆炸/消失?原创 2017-06-22 17:12:24 · 1674 阅读 · 0 评论 -
深度学习实战中遇到的问题
1、为什么在测试的时候,修改测试的batch size会影响测试结果。当batch size=1000时,准确率很低;当batch size=10时,准确率很高。原创 2017-06-06 16:11:55 · 602 阅读 · 1 评论 -
深度学习之参数初始化(二)——Kaiming初始化
。原创 2017-06-13 11:36:34 · 39210 阅读 · 6 评论 -
深度学习之OCR(三)——Attention机制_hard attention
待研究。原创 2017-07-03 15:40:00 · 3009 阅读 · 0 评论 -
深度学习——如何运行在移动设备上
Caffe mobile Tensorflow Caffe2 CoreML原创 2017-07-03 22:26:02 · 1662 阅读 · 0 评论 -
PyTorch学习系列(一)——加载数据2
生成batch数据现在有了由数据文件生成的结构数据MyDataset,那么怎么在训练时提供batch数据呢?PyTorch提供了生成batch数据的类。PyTorch用类torch.utils.data.DataLoader加载数据,并对数据进行采样,生成batch迭代器。class torch.utils.data.DataLoader(dataset, batch_size=1, ...原创 2018-05-14 20:08:21 · 4885 阅读 · 1 评论 -
深度学习资料
深度强化学习加州大学伯克利分校2017深度强化学习课程Dave Silver的深度强化学习课程原创 2017-06-03 13:28:52 · 1235 阅读 · 0 评论 -
自组织映射网络SOM
SOM网络简介Kohonen于1982年提出SOM(Self-Organizing Map, 自组织映射)网络。它是一种无监督的竞争学习网络,学习过程中不需要任何监督信息。SOM网络将高维数据映射到低维空间中,一般是一维或者两维,并且保持数据的拓扑结构不变,即高维空间中相似的数据在低维空间中接近。SOM网络结构SOM由两层神经元组成:输入层和输出层。输入层的每个神经元和输出层的所有神经元连接。输入层原创 2017-09-19 18:45:43 · 2546 阅读 · 0 评论 -
深度学习——循环神经网络RNN(一)_反向传播算法
RNN网络结构Elman神经网络是最早的循环神经网络,由Elman于1990年提出,又称为SRN(Simple Recurrent Network, 简单循环网络)。RNN考虑了时序信息,当前时刻的输出不仅和当前时刻的输入有关,还和前面所有时刻的输入有关。RNN的结构图(引用[2]中的图)如下: xtx_t表示t时刻的输入向量;hth_t表示t时刻的隐藏层向量: 隐层计算公式为 ht=f(Wh原创 2017-09-21 11:56:18 · 5390 阅读 · 0 评论 -
深度学习之神经网络结构——RNN_理解LSTM
原文链接Understanding LSTM NetworksRNN我们不是在大脑一片空白的情况下开始思考。当你读这篇文章的时候,你是基于对前面单词的理解来理解当前的单词。你不会把所有的东西丢开,让大脑每次都一片空白地思考。我们的思想是持久的。传统的神经网络做不到这一点,这看起来是它的主要缺点。举个例子,假设你正在看电影,你想对每个时间点的事件类型进行分类。传统的神经网络无翻译 2016-07-18 17:35:07 · 6208 阅读 · 1 评论 -
深度学习之OCR(一)——多数字识别_Multi-digit Number Recognition
Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks. Ian J. Goodfellow, Yaroslav Bulatov, Julian Ibarz, Sacha Arnoud, Vinay Shet. ICLR 2014.模型介绍本文利用CNN进行门原创 2017-07-03 15:37:13 · 11631 阅读 · 10 评论 -
深度学习之参数初始化(一)——Xavier初始化
Understanding the difficulty of training deep feedforward neural networks by Xavier Glorot, Yoshua Bengio in AISTATS 2010.本文介绍一下深度学习参数初始化问题中耳熟能详的参数初始化方法——Xavier(发音[‘zeɪvɪr])初始化。大家应该感觉到一般的深度学习文章上来就是实验,原创 2017-06-10 18:28:19 · 51832 阅读 · 17 评论 -
深度学习之OCR(二)——RNN/LSTM/GRU + CTC
待研究。原创 2017-07-03 15:38:44 · 6215 阅读 · 0 评论 -
深度学习之优化——高维非凸优化中的鞍点问题
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization Yann Dauphin, Razvan Pascanu, Caglar Gulcehre, Kyunghyun Cho, Surya Ganguli, Yoshua Bengio. NIPS 2014.原创 2017-06-20 09:13:52 · 2482 阅读 · 0 评论 -
深度学习之神经网络结构——残差网络ResNet
Deep Residual Learning for Image Recognition Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun arxiv, 2015 残差网络Residual Network自提出之日起就声名大振,成为大家在介绍深度学习近年上位史时不得不讲的网络结构。阅读原文,会发现通篇出现次数非常多的一个词”degradatio原创 2017-05-05 18:18:56 · 6717 阅读 · 0 评论 -
深度学习之物体检测——YOLO(二)_用作者提供的YOLO实现进行检测
使用训练好的YOLO进行检测首先安装Darknetgit clone https://github.com/pjreddie/darknetcd darknetmake下载预训练得到的权重文件 YOLO的配置文件在./cfg/文件夹下。现在下载预训练网络的权重:wget https://pjreddie.com/media/files/yolo.weights运行检测器./darkn原创 2017-05-16 12:04:24 · 3719 阅读 · 2 评论 -
深度学习之物体检测——Fast R-CNN(Ross Girshick)
Fast R-CNN是Ross Girshick对R-CNN进行改进的一篇文章,影响力也比较大。R-CNN的基本思想是用box proposal的特征映射作为其特征向量,然后进行分类与box精调。但是R-CNN需要对每个box proposal进行卷积操作得到box特征映射,这样大大降低了检测效率。Fast R-CNN在R-CNN基本思想不变的情况下,只对原图做一次卷次操作得打特征映射,然后把每个b原创 2017-05-26 14:19:47 · 5368 阅读 · 0 评论 -
深度学习——研究方向
作者:张翔链接:http://www.zhihu.com/question/27608272/answer/37318565来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。个人觉得当前深度学习领域的学术研究可以包含四部分:优化(Optimization),泛化(Generalization),表达(Representation)以及应用(Appli转载 2016-07-11 15:22:41 · 5120 阅读 · 1 评论 -
深度学习之风格迁移(一)——Neural Style(Gatys)
内容重构content reconstruction风格重构style reconstruction风格迁移参考1 A Neural Algorithm of Artistic Style Leon A Gatys Alexander S Ecker and Matthias Bethge2 Image Style Transfer Using Convolutional Neural N原创 2017-05-11 18:31:51 · 19784 阅读 · 1 评论 -
深度学习之风格迁移(三)——Deep Photo Style Transfer(Fujun Luan)
前面已经介绍了如何利用神经网络进行风格迁移,参见博客深度学习之风格迁移(一)——Neural Style(Gatys) 。该文介绍了怎么把艺术作品的风格迁移到真实图片中去,生成的图片是带有艺术色彩的绘画作品。那么现在给定两个真实的图片,一张作为风格图片,一张作为内容图片,现在希望把风格照片的风格迁移到内容照片中去,那么我们肯定希望得到的图片类似真实的照片。但是如果采用Gatys提出的方法,会导致即使原创 2017-05-15 11:14:39 · 10100 阅读 · 0 评论 -
深度学习之风格迁移(二)——Fast Neural Style(Johnson)
参考[1] Perceptual Losses for Real-Time Style Transfer and Super-Resolution. Justin Johnson, Alexandre Alahi, Li Fei-Fei. ECCV 2016. [2] fast-neural-style in Github by Johnson.原创 2017-05-15 10:53:55 · 5164 阅读 · 0 评论 -
深度学习之物体检测——YOLO(一)_介绍
YOLO网络结构YOLO把检测问题看成是端到端的回归问题。把输入图片划分成一个个的小格子,让物体中心点所在的格子负责检测到该物体。 YOLO采用的是GoogLeNet结构,但是用1*1和3*3的卷积层来替代GoogLeNet的inception层。网络结构如下:每个卷积层后面都会跟着leaky ReLu非线性层。第一个全连接层后面也跟着leaky ReLU非线性层。对于一张图片,输出的维度是7*7原创 2017-05-16 11:25:56 · 10555 阅读 · 5 评论 -
深度学习之物体检测——YOLO(三)_PyTorch实现
过程首先构建26层网络作者采用GoogLeNet作为网络结构,但是并不使用inception模块,而是采用1x1和3x3大小的滤波器进行替代。具体的网络结构请参考博客:深度学习之物体检测——YOLO(一)_介绍。计算损失YOLO模型的损失函数比较复杂,包含三种损失:box损失、置信度损失、类别损失。具体的表达式也请查看上面给出的博客链接。 下面给出计算一幅图片的检测损失的计算步骤:根据Groun原创 2017-05-17 23:39:40 · 8567 阅读 · 2 评论 -
GAN——LSGANs(最小二乘GAN)
LSGANs基本思想LSGANs的损失函数表达式模型结构实验LSGANs基本思想LSGANs的英文全称是Least Squares GANs。这篇文章针对的是标准GAN生成的图片质量不高以及训练过程不稳定这两个缺陷进行改进。改进方法就是将GAN的目标函数由交叉熵损失换成最小二乘损失,而且这一个改变同时解决了两个缺陷。为什么最小二乘损失可以提高生成图片质量?我们知道,GANs包含两个部分:判别器原创 2017-03-07 10:48:20 · 28067 阅读 · 5 评论 -
GAN——WGAN
GAN存在着以下问题:训练困难 训练不稳定,需要小心地平衡生成器和判别器的训练程度生成器和判别器的loss无法指示训练进程 没有可以用来指示训练进程的损失函数,该函数值越小表明GAN训练得越好生成样本缺乏多样性的问题需要精心设计网络架构想要理解WGAN如何解决这些问题,需要阅读以下两篇文章: Towards Principled Methods for Training Genera原创 2017-02-22 15:36:19 · 9233 阅读 · 0 评论