MIT 深度学习与自动驾驶公开课 Deep Learning for Self-Driving Cars 讲义梗概

课程资源 链接: https://pan.baidu.com/s/1jIKRmHC 密码: d7vf

MIT今年的深度学习与自动驾驶课，课程比较短，只有五节课，是比较基础的概述。

提纲整理如下：

1. Introduction to Deep Learning and Self-Driving Cars
2. Deep Reinforcement Learning for Motion Planning
3. Learning to Drive: Convolutional Neural Networks for End-to-End Learning of the Driving Task
4. Recurrent Neural Networks for Steering Through Time
5. Deep Learning for Human-Centered Semi-Autonomous Vehicles

---

1. Introduction to Deep Learning and Self-Driving Cars

从AI的概念开始讲起，对很多深度学习和自动驾驶领域里面的概念做了一个简要的说明。
首先介绍了自动驾驶汽车的各种传感器和自动驾驶车要执行的任务，介绍了DARPA无人车比赛，以及现在工业界的无人驾驶车辆，Google的Waymo, Uber, Tesla, noTonomy.

如果将无人驾驶过程比作是对话，比较难的部分在于，如何利用已有的知识来回答问题和得到新的结论。于是引出了深度学习的基础：神经元结构，感知机算法，神经网络，然后引申到深度神经网络。
在介绍深度学习部分，概述了计算机视觉领域研究的难点，深度学习得以大规模发展的几个原因，目前的几个制约其发展的因素，深度学习的主要应用等。个人觉得这部分可以促进入门者对于深度学习的理解。
深度学习的主要应用领域：图像中的目标分类/识别，语义分割，对象检测和定位，图像上色，图片中的文字翻译，得益与循环神经网络模型RNN，现在还可以从文字生成手写体，字符级别的文本生成，图像字幕生成，关于图像的问题回答，视频描述生成（视频摘要），Modeling Attention Steering, Drawing with Selective Attention, 为无声视频添加声音等等。
然后提到了Moravec悖论，也就是对于人来说很简单不需要思考的事情对于机器来说需要庞大的计算量，而对于人来说需要进行复杂思考的事情，机器解决起来反而很简单。

对于自动驾驶来说，还有很多挑战

然后介绍了一下深度学习的发展和未来的展望

以及常用的一些框架/工具:TensorFlow,Keras,Torch,theano,cuDnn,mxnet,neon,Caffe,CNTK以及在浏览器端的Keras.js 和ConvNetJS.
第一课大概就是这样。

---

2. Deep Reinforcement Learning for Motion Planning

从机器学习的分类开始讲起，概略地介绍了一下感知机。然后介绍了一下深度加强学习

加强学习，智能体与环境的关系，马尔科夫决策过程，一个RL智能体主要由策略，值函数，模型组成。介绍了机器人在室内空间中导航的方法和优化策略。介绍了值函数和Q-Learning方法。
现在发展的趋势是深度学习和加强学习相结合

然后介绍了一下大热的DQN，Deep Q learning的算法。

这一课有一个小项目DeepTraffic，在线模拟汽车在车流中的驾驶情况，目标是使车达到最快速度。
又介绍了一下ConvNetJS.

---

3. Learning to Drive: Convolutional Neural Networks for End-to-End Learning of the Driving Task

介绍了一下卷积神经网络的基本知识。

半自动驾驶的任务

1. Localization and Mapping
   6-DOF视觉里程计，SLAM，端到端的使用神经网络的VO
2. Scene Understanding
   目标检测，驾驶全场景分割（Tensorflow-SegNet），路面纹理特征以及从声音得到路况信息。
3. Movement Planning
   
4. Driver State
   用深度学习的方法检测司机的注视区域以及面部微表情（是否已经疲劳驾驶等）

端到端深度学习用于自动驾驶
介绍了一下NVIDIA2016年的重磅论文End-to-End Learning for Self-Driving Cars
这节课有一个动手的项目DeepTesla
详细介绍了ConvNetJS

---

4. Recurrent Neural Networks for Steering Through Time

主要介绍了RNN和LSTM（RNN的一种特殊形式）。
循环神经网络可以提取到跟时间有关的信息。Sequence-to-Sequence.
从反向传播的原理开始介绍，简单易懂（整个课程对于基本概念的讲解用的都是很经典的示例和图片，是很简单明了的总结）。


RNN和LSTM可以应用于机器翻译，从文字生成手写字体，字符级别的文本生成，回答根据图像提出的问题，图像描述生成，视频描述生成，Modeling Attention Steering，Drawing with Selective Attention，为无声电影添加音频，医疗诊断，股票市场预测，音频生成，音频分类等。
Udacity举办的端到端驾驶比赛中，第一名和第三名都使用了RNN，Sequence-to-sequence mapping from images to steering angles.

---

5. Deep Learning for Human-Centered Semi-Autonomous Vehicles

深度学习用于驾驶员状态的检测