深度学习笔记整理

近期工作：

1.对车辆碰撞、驾驶行为分析方面论文汇总，并选择性的阅读了几篇。

2.学习深度学习相关知识，Python数据处理知识。

3.学习TensorFlow神经网络库，并搭建了开发环境。

一、深度学习简介

1.什么是深度学习

深度学习(Deep Learning)是机器学习的一种形式，概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。　　

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

2.基本变换：层

神经网络是由一层一层构建的，那么每层究竟在做什么？

• 数学式子：，其中是输入向量，是输出向量，是偏移向量，是权重矩阵，是激活函数。每一层仅仅是把输入经过如此简单的操作得到。
• 数学理解：通过如下5种对输入空间（输入向量的集合）的操作，完成 输入空间 —> 输出空间 的变换 (矩阵的行空间到列空间)。 注：用“空间”二字的原因是被分类的并不是单个事物，而是一类事物。空间是指这类事物所有个体的集合。
  • 1. 升维/降维
  • 2. 放大/缩小
  • 3. 旋转
  • 4. 平移
  • 5. “弯曲” 这5种操作中，1,2,3的操作由完成，4的操作是由完成，5的操作则是由来实现。

每层神经网络的数学理解：用线性变换跟随着非线性变化，将输入空间投向另一个空间。

线性可分视角：神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非线性变换，将原始输入空间投向线性可分/稀疏的空间去分类/回归。 
增加节点数：增加维度，即增加线性转换能力。 
增加层数：增加激活函数的次数，即增加非线性转换次数。

3.神经网络的训练

知道了神经网络的学习过程就是学习控制着空间变换方式（物质组成方式）的权重矩阵后，接下来的问题就是如何学习每一层的权重矩阵  。

如何训练：

既然我们希望网络的输出尽可能的接近真正想要预测的值。那么就可以通过比较当前网络的预测值和我们真正想要的目标值，再根据两者的差异情况来更新每一层的权重矩阵（比如，如果网络的预测值高了，就调整权重让它预测低一些，不断调整，直到能够预测出目标值）。因此就需要先定义“如何比较预测值和目标值的差异”，这便是损失函数或目标函数（loss function or objective function），用于衡量预测值和目标值的差异的方程。loss function的输出值（loss）越高表示差异性越大。那神经网络的训练就变成了尽可能的缩小loss的过程。所用的方法是梯度下降（Gradient descent）：通过使loss值向当前点对应梯度的反方向不断移动，来降低loss。一次移动多少是由学习速率（learning rate）来控制的。

梯度下降的问题：