吴恩达机器学习系列三(神经网络)

神经网络

神经网络模仿了大脑中的神经元或神经网络

单个神经元：

神经元是一个计算单位，他从输入通道接受一定数目的信息并做一些计算，然后将结果通过它的轴突（输出通道）传送到其他节点或大脑中的其他神经元

神经网络模型：

逻辑单元

$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$

通常还会添加一个$x_0$称为偏置单元(bias unit)

称上述为一个带有sigmoid或者logistic激活函数（代指非线性函数g(z)）的人工神经元

$g(z)=\frac{1}{1+e^{-z}}$

神经网络

神经网络其实就是一组神经元连接在一起的集合

Layer 1通常称为输入层：在这一层输入特征

Layer 2通常称为隐藏层（可以不止一层，非输入输出层）

Layer 3通常称为输出层：输出最终的计算结果

术语：

$a_i^{(j)}$=第j层第i个神经元或单元的激活项（激活项：由一个神经单元计算并输出的值）

${\theta }^{(j)}$是权重矩阵，控制着从第j层到第j+1层的函数映射

计算隐藏单元的激活项：

$a_1^{(2)}=g({\theta }_{10}^{(1)}{x}_0+{\theta }_{11}^{(1)}{x}_1+{\theta }_{12}^{(1)}{x}_2+{\theta }_{13}^{(1)}{x}_3)$

$a_2^{(2)}=g({\theta }_{20}^{(1)}{x}_0+{\theta }_{21}^{(1)}{x}_1+{\theta }_{}$