机器学习笔记4 - 神经网络

机器学习笔记4 - 神经网络

线性回归和逻辑回归都有一个缺点，当特征太多，计算负荷会很大，

引入神经网络

在神经网络中，参数称为权重(weight)

其中$x_1,x_2,x_3$是输入单元，$a_1,a_2,a_3$是中间单元，负责处理数据传递到下一层，最后是输出单元，其用来计算$h_{\theta }(x)$。

在一个三层网络中，第一层成为输入层（ Input Layer），最后一层称为输出层（ Output Layer），中间一层成为隐藏层 (Hidden Layers）。我们为每一层都增加一个偏置单元(bias unit)，得到如下图:

$a_i^{(j)}$表示第$j$层的第$i$个激活单元。${\theta }^{(j)}$代表从第$j$层映射到第$j+1$层时的权重矩阵，比如${\theta }^{(1)}$表示从第一层映射到第二层的权重矩阵。该矩阵的大小为：以第$j+1$层的激活单元数量为