【Stanford机器学习笔记】6-Neural Networks: Representation

前面讲了线性回归模型和逻辑回归模型，这节主要将神经网络，神经网络是一种非线性分类器，对于特征数量较大的非线性分类问题更加适用。

1. Motivation

前面可知，逻辑回归模型可以解决非线性分类问题，但是对于某些非线性的分类问题，有时逻辑回归模型并不适用，例如对于复杂的非线性分类问题且原始特征数量较大时，利用逻辑回归模型就需要通过构建次数较高的多项式因子进行分类，但是当原始特征数量较大时，构建的多项式模型所包含的特征数量也就越大，使得机器学习模型更加复杂，同时可能还导致过拟合问题，所以针对这种问题，需要构建适用的非线性分类器解决当特征数量较大时的复杂非线性分类问题。神经网络就是其中一种方法。

2. Neurons and the Brain

神经网络算法是基于模拟大脑的工作模式产生的一种算法，上世纪80,90年代初兴起，90年代末开始衰落（主要原因是太复杂，运算速度慢），但是随着计算机技术的发展，包括软件和硬件的提升，运算速度加快，神经网络再次受到人工智能领域的应用。

3. Neural Networks: Representation

（1）神经网络一般包括三个部分：输入层、隐藏层、输出层，每一层都可以包含多个神经元，为了更好的理解，下面定义下需要用到的变量：

• $a_i^{(j)}$表示第j层的第i个神经元
• $\Theta^j$表示第j层到第j+1层传输所需的系数矩阵（权重矩阵），它的维数为 $s_{j+1}*（s_j+1$）
• <