机器学习之五-神经网络模型

一、概述

一个最简单的神经网络，仅包含一个神经元，的模型如下图：

x1，x2，x3表示输入层，输出是h(θ).  看起来和逻辑回归很像吧！

二、神经网络模型

所谓神经网络就是将许多个单一“神经元”联结在一起，这样，一个“神经元”的输出就可以是另一个“神经元”的输入。例如，下图就是一个简单的神经网络：

我们使用圆圈来表示神经网络的输入，标上“+1”的圆圈被称为偏置节点，也就是截距项。 神经网络最左边的一层叫做 输入层 ，最右的一层叫做 输出层 （本例中，输出层只有一个节点）。 中间所有节点组成的一层叫做 隐藏层 ，因为我们不能在训练样本集中观测到它们的值。同时可以看到，以上神经网络的例子中有3个 输入单元 （偏置单元不计在内），3个 隐藏单元 及一个 输出单元 。

我们用  表示第  层第  单元的激活值（输出值）。那么计算公式如下：

为了简单的表示，我们用来表示第l层第i个单元的加权和，比如上面的可以表示为

我们把上面计算步骤叫做前向传播。

下面举几个例子：

1. AND逻辑运算

可以通过上图看出，只有x1和x2同时取1的时候，才返回1，其余都是0

2.OR

3.NOT

4.再看一个复杂的，  亦或运算：

这样就看到 隐藏层在计算抑或运算中的作用了、