神经网络：表述(Neural Networks: Representation)

神经网络模型建立在很多神经元之上，每一个神经元又是一个个学习模型。这些神经元（也叫激活单元，activation unit）采纳一些特征作为输出，并且根据本身的模型提供一个输出。下图是一个以逻辑回归模型作为自身学习模型的神经元示例，在神经网络中，参数又可被成为权重（weight）。

我们设计出了类似于神经元的神经网络，效果如下：

 

 其中X1,X2,X3是输入单元，我们将原始数据输入给它们。a1,a2,a2是

是中间单元，它们负责将数据进行处理，然后呈递到下一层。

最后是输出单元，它负责计算h(x)。

神经网络模型是许多逻辑单元按照不同层级组织起来的网络，每一层的输出变量都是下一层的输入变量。下图为一个3层的神经网络，第一层成为输入层（Input Layer），最后一层称为输出层（Output Layer），中间一层成为隐藏层（Hidden Layers）。我们为每一层都增加一个偏差单位（bias unit）：

 

对于上图所示的模型，激活单元和输出分别表达为：

把x, theta,α  分别用矩阵表示，我们可以得到 ：theta * X=a

 

• 前向传播算法

( FORWARD PROPAGATION ) 相对于使用循环来编码，利用向量化的方法会使得计算更为简便。以上面的神经网络为例，试着计算第二层的值：

 

 这只是针对训练集中一个训练实例所进行的计算。如果我们要对整个训练集进行计算，我们需要将训练集特征矩阵进行转置，使得同一个实例的特征都在同一列里。即：

我们可以把a0,a2,a3,看成更为高级的特征值，也就是的进化体，并且它们是由 x与决定的，因为是梯度下降的，所以a是变化的，并且变得越来越厉害，所以这些更高级的特征值远比仅仅将 x次方厉害，也能更好的预测新数据。

这就是神经网络相比于逻辑回归和线性回归的优势。