深度学习的理解

神经网络按照连接方式、层数分类：

• 单层神经网络（感知机）：类似逻辑回归，线性分类
• 两层神经网络（多层感知机）：带一个隐藏层，非线性归类
• 多层神经网络（深度学习）
• 卷积神经网络（CNN）：非全连接
• 循环神经网络（RNN）：处理序列数列
  多层（包含隐藏层）可以使得分类非线性，跟接近实际

过程——三种函数：

• 激活函数：非线性变换（Sigmoid、Tanh、ReLU）
• 损失函数：神经网络优化的目标函数，net通过训练或者优化过程逐渐最小化损失，对损失函数求导以确定参数的变化方向（平方损失、交叉熵、对数似然）
• 优化函数：优化算法的功能，确定根据怎么样的训练方式最小化损失函数（GD梯度下降、Adagrad、Adam）