[Machine Learning Course of Andrew-Ng 吴恩达的机器学习课程]机器学习学习笔记(6)--神经网络初步理解

不必时时怀念我，也不要指望我回来，我离开以后，你们就是我，
Vive le peuple!

为什么会有神经网络

如果一个模型的特征过多，最后的结果很有可能出现过拟合,
同时，如果需要的分界线过于复杂的话（如上图），也不能拟合出来

神经网络

这个算法就是模仿人类大脑的神经元得来的

最简单的神经网络

x0为偏置单元，值恒为1
xi为输入端，h为激活函数

下面为比较简单的例子

复杂一点的例子

Layer1为输入层，Layer2为隐藏层，Layer3为输出层
一个复杂的计算例

神经网络的计算过程

以上图为例

ai为激活项，是一个神经元计算并输出的值
thetaj为权重矩阵，就和之前的theta类似

下图为激活项的计算公式

如果j层有sj个单元，J+1有sj+1,则theta矩阵有sj+1*(sj + 1)那么大

分开来看，它就像进行多次逻辑回归一样，只不过输入的值不同

多元分类

假如说你要用神经网络搞一个手写数字识别（或者说有两个已上的内容输出时），那么肯定是需要进行多元分类的

那么神经网络可以如下图构建，有几个结果，在输出端就有几个输出神经元
输出结果是个向量，当某行为1时代表某个输出有结果