神经网络——模型表示:
为什么需要非线性分类器(非线性假设):维数大的时候(例如图片),特征元素个数将大的不能接受.
历史:80年代和90年代早期广泛应用,但90年代后期开始衰落.最近又东山再起,原因在于计算速度的加快使得可以完成大规模的神经网络计算.
单个神经元模型——类似逻辑回归模型,有个sigmoid函数(如果没有,那就只能是线性运算):
网络模型:
如果网络在第j层有sj个单元,在第j+1层有sj+1个单元,那么第j层的权重矩阵的维度是sj+1 * (sj+ 1). 即在计算列的时候把bias项当成theta0×x0算,其中theta0 =1.
可以理解为每一层为“圈+箭头”
一些非线性拟合例子:
拟合AND运算,OR运算
XNOR的例子,输入-》AND和NAND-》OR-》输出,即
解释了为什么神经网络能拟合复杂的非线性函数:第一层作为第二层的参数,第二层又作为第三层的参数,第三层又作为……不停的往下,最后得到一个复杂的函数。
神经网络实现多元分类问题,例如手写数字识别的例子等。