学习笔记：Deep Learning（二）深度神经网络以及正则化

深度神经网络以及正则化

前面我们介绍了简单的线性模型，但是它仍有局限性，接下来介绍非线性模型。首先介绍，偷懒的工程师最喜欢的非线性模型ReLU（Rectified Linear Units）

ReLU

ReLU的函数形式为：

$$f(x) = max(0, x)$$

它的导数也非常简单，小于0的时候，导数为0，大于0的时候，导数为1。

用ReLU在前面的逻辑分类器的基础上构建简单的非线性模型：

• 第一层由一组X的权重和偏差组成并通过ReLU函数激活。这一层的输出会提供给下一层，但是在神经网络外部不可见，因此称为隐藏层。
• 第二层由隐藏层的权重和偏差组成，隐藏层的输入即为第一层的输出，然后由softmax函数生成概率。
• H对应的是分类器中ReLU的个数，H越大，网络越复杂。

2-layer的神经网络只有乘法、加法和ReLU操作，深度学习可以实现这些操作，实现的关键就是：链式法则

链式法则

链式法则就是将上一层的输出作为下一层的输入，这种方法求导很方便。

例如：

[g(f(x))