吴恩达机器学习笔记_第四周

神经网络——模型表示:

为什么需要非线性分类器（非线性假设）:维数大的时候(例如图片),特征元素个数将大的不能接受.

 

历史:80年代和90年代早期广泛应用,但90年代后期开始衰落.最近又东山再起,原因在于计算速度的加快使得可以完成大规模的神经网络计算.    

单个神经元模型——类似逻辑回归模型，有个sigmoid函数（如果没有，那就只能是线性运算）：

网络模型：

如果网络在第j层有sj个单元,在第j+1层有sj+1个单元,那么第j层的权重矩阵的维度是sj+1 * (sj+ 1).  即在计算列的时候把bias项当成theta0×x0算，其中theta0 =1.     

可以理解为每一层为“圈+箭头”

 

一些非线性拟合例子：

拟合AND运算，OR运算

XNOR的例子，输入-》AND和NAND-》OR-》输出，即

 

解释了为什么神经网络能拟合复杂的非线性函数：第一层作为第二层的参数，第二层又作为第三层的参数，第三层又作为……不停的往下，最后得到一个复杂的函数。

 

神经网络实现多元分类问题，例如手写数字识别的例子等。