Machine Learning课程笔记4：神经网络

1、非线性假设

这部分主要讲解了几个例子来说明，如果我们有非常多的特征（假设>100）时，如果用这100个特征量来构建一个非线性的多项式模型，对于一般的逻辑回归来说需要计算的特征太多了。所以普通逻辑回归不能有效地处理这么多的特征，这时候我们就需要神经网络。

2、模型表达

神经网络的模型参考的就是人体的神经元，就不介绍了，直接看模型表达：

这些神经元（activation units）采纳一些特征作为输入，并根据自身模型提供一个输出。上图是以逻辑回归模型作为自身学习模型的神经元，在神经网络中，参数又被称为权重（weights）。

上图是一个单一的神经元，神经网络模型是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。下图是一个三层的神经网络，第一层称为输入层，最后一层为输出层，第二层为隐藏层，隐藏层可以有多层。x0和a0 称为偏移单元。

对于上图的模型，激活单元和输出的表达式如下：

为了更高效的计算，下面介绍如何用向量化的方法来完成上面的计算：

前向传播：

对神经网络的理解：

本质上说，圣经网络能够通过学习得出其自身的一系列特征。在普通的逻辑回归中，我们只使用了数据中的原始特征X1，X2，X3...，我们虽然可以通过一些二项式组合这些特征，但是仍然限制于原始特征量。但是在神经网络中，原始特征只作为输入层，如果只看上例子中的第二层和第三层的关系，我们可以看出，第三次利用的是第二层的特征（a1,a2,a3,,,,），所以我们可以认为神经网络通过学习后自己得出一系列的新特征用于下一层的预测。

3、神经网络示例：

以实现y=x1 XOR x2（异或）和y=x1 XNOR x2（异或非）为例：

下图的神经元（权重为-30,20,20）实现的是逻辑与（AND）：

同理可实现逻辑或  和   逻辑非：

我们可以利用神经元组合成为更复杂的神经网络，从而实现更复杂的运算。例如我们要实现的XNOR功能：

4、多类分类

如果我么要训练一个神经网络算法来识别路人，汽车，摩托车和卡车，在输出层就有4个值。可能的模型以及输出情况如下图：

注意y的输出表达形式（向量）