自动驾驶学习资料

课程 MIT 6.S094: Deep Learning for Self-Driving Cars. 2017.

2018-05-14 21:29:26

阅读数 2617

评论数 0

PyTorch学习系列(一)——加载数据2

生成batch数据 现在有了由数据文件生成的结构数据MyDataset,那么怎么在训练时提供batch数据呢?PyTorch提供了生成batch数据的类。 PyTorch用类torch.utils.data.DataLoader加载数据,并对数据进行采样,生成batch迭代器。 class ...

2018-05-14 20:08:21

阅读数 2452

评论数 0

深度学习——循环神经网络RNN(一)_反向传播算法

RNN网络结构Elman神经网络是最早的循环神经网络,由Elman于1990年提出,又称为SRN(Simple Recurrent Network, 简单循环网络)。RNN考虑了时序信息,当前时刻的输出不仅和当前时刻的输入有关,还和前面所有时刻的输入有关。RNN的结构图(引用[2]中的图)如下: ...

2017-09-21 11:56:18

阅读数 3180

评论数 0

自组织映射网络SOM

SOM网络简介Kohonen于1982年提出SOM(Self-Organizing Map, 自组织映射)网络。它是一种无监督的竞争学习网络,学习过程中不需要任何监督信息。SOM网络将高维数据映射到低维空间中,一般是一维或者两维,并且保持数据的拓扑结构不变,即高维空间中相似的数据在低维空间中接近。...

2017-09-19 18:45:43

阅读数 1327

评论数 0

深度学习——如何运行在移动设备上

Caffe mobile Tensorflow Caffe2 CoreML

2017-07-03 22:26:02

阅读数 921

评论数 0

深度学习之OCR(五)——Attention机制_gradient-based attention

Look and Think Twice: Capturing Top-Down Visual Attention with Feedback. Chunshui Cao, Xianming Liu, Yi Yang, Yinan Yu, Jiang Wang, Zilei Wang. ICC...

2017-07-03 15:45:03

阅读数 3218

评论数 0

深度学习之OCR(四)——Attention机制_soft attention

待研究

2017-07-03 15:42:11

阅读数 1481

评论数 0

深度学习之OCR(三)——Attention机制_hard attention

待研究。

2017-07-03 15:40:00

阅读数 2093

评论数 0

深度学习之OCR(二)——RNN/LSTM/GRU + CTC

待研究。

2017-07-03 15:38:44

阅读数 4692

评论数 0

深度学习之OCR(一)——多数字识别_Multi-digit Number Recognition

Multi-digit Number Recognition from Street View Imagery using Deep Convolutional Neural Networks. Ian J. Goodfellow, Yaroslav Bulatov, Julian Ibarz,...

2017-07-03 15:37:13

阅读数 6547

评论数 10

深度学习——激活函数

激活函数值应该是zero-centeredSigmoid激活函数值全正,并不以0为中心。这会导致参数梯度要么全为正,要么全为负。见cs231n的Lecture 5 34-35页.

2017-06-30 17:04:33

阅读数 589

评论数 0

自问自答3——深度学习中如何避免梯度消失(待回答)

上一问中,我们回答了为什么要避免梯度爆炸/消失现象。那么为了避免这种现象的发生,我们必须知道这种现象的源头。所以这一节我们要探讨为什么会发生梯度爆炸/消失?或者等价地说成什么情况下会发生梯度爆炸/消失?

2017-06-22 17:12:24

阅读数 1208

评论数 0

自问自答2——深度学习中梯度消失/爆炸为什么是一个问题?(待完善)

我们知道SGD只是用来求解优化问题的一种方法:沿着负梯度方向找到损失最小值。所以SGD的核心就是计算梯度以得到参数更新。而在深层神经网络中,反向传播时很容易发生梯度消失或者梯度爆炸的问题。我们认为这两种情况是非常危险的,要极力避免。 无论梯度消失或者梯度爆炸,这些梯度仍旧指引着使得损失减小的参数...

2017-06-22 17:07:24

阅读数 2498

评论数 0

深度学习——Batch Normalization

参考[1] Batch Normalization : Accelerating Deep Network Training by Reducing Internal Covariate Shift. Sergey Ioffe, Christian Szegedy. 2015. [2] 博客:B...

2017-06-22 10:05:11

阅读数 367

评论数 0

深度学习之优化——高维非凸优化中的鞍点问题

Identifying and attacking the saddle point problem in high-dimensional non-convex optimization Yann Dauphin, Razvan Pascanu, Caglar Gulcehre, Kyungh...

2017-06-20 09:13:52

阅读数 1560

评论数 0

深度学习之参数初始化(二)——Kaiming初始化

2017-06-13 11:36:34

阅读数 7408

评论数 0

深度学习之参数初始化(一)——Xavier初始化

Understanding the difficulty of training deep feedforward neural networks by Xavier Glorot, Yoshua Bengio in AISTATS 2010.本文介绍一下深度学习参数初始化问题中耳熟能详的参数初...

2017-06-10 18:28:19

阅读数 26237

评论数 11

深度学习实战中遇到的问题

1、为什么在测试的时候,修改测试的batch size会影响测试结果。当batch size=1000时,准确率很低;当batch size=10时,准确率很高。

2017-06-06 16:11:55

阅读数 330

评论数 1

深度学习资料

深度强化学习 加州大学伯克利分校2017深度强化学习课程 Dave Silver的深度强化学习课程

2017-06-03 13:28:52

阅读数 936

评论数 0

深度学习——训练trick

http://yyue.blogspot.com/2015/01/a-brief-overview-of-deep-learning.htmlhttp://cs231n.github.io/neural-networks-3/#gradcheck

2017-05-29 10:00:01

阅读数 1510

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭