Coursera-吴恩达机器学习课程个人笔记-Week4

1.非线性模型——神经网络(Neural Networks)介绍

  线性回归和逻辑回归可以解决非线性模型，为什么还需要神经网络？
  因为当样本特征非常多，但是都和问题非常相关不能删去时，线性/逻辑回归很容易导致过拟合(见下图)，且运算量随着特征的增加而大大增加,因为每个特征互相之间的关联都需要考虑进去。例如当输入是一张图像时，最直观的就是，每个像素点都是一个特征，因此，对于图像来说，其样本的特征数量通常都是非常大的。
  为什么用神经网络更好？
  神经网络会自己从输入的所有特征中学习和选择所需要的特征，具体说明见3.2节。

2.神经网络的数学表达

2.1术语和参数说明

  神经元(neuron)：神经网络中，每个小单元都是一个简单的学习模型，称作神经元(neuron)。
  权值(weights)：神经网络中，连接当前层神经元和下一层神经元之间的数值关系，叫做权值。权值是神经网络中需要学习的部分，也就相当于回归问题里的参数向量，需要根据学习过程不断迭代更新。
  偏移(bias)：在当前层中增加一个神经元$a_0^{(j)}=1$，该神经元也对应一组连接到下一层所有神经元的权值${\Theta }_0^{(j)}$,其作用类似于多项式中的常数项，用来进行适当偏移。
  神经网络的层(layer)：神经网络分为好多层，其中包括输入层(input layer)、隐藏层(hidden layers)、输出层(output layer)。同一层具有多个神经元，同层的神经元之间是并列关系，相互之间不会有权值连接。
  激励函数(activation function)：神经元的输入通常是由权值和上一层神经元的输出的线性组合而得到的。为了增加模型的非线性，通常在上述线性组合后增加一次非线性的映射，从而使得模型整体具有非线性特征，这个非线性映射就叫做激励函数。例如sigmoid函数。(拓展知识，不同类型的激励函数介绍及其特征)
  ${\text{a}}_i^{(j)}$：第j层的第i个神经元的激活函数；
  ${\text{Θ}}^{(j)}$：第j层和第j+1层之间的权值矩阵，其中${\text{Θ}}^{(j)}$矩阵的结构是$s_{j+1}\times (s_j+1)$，s_j是第j层的神经元个数；
  ${\text{Θ}}_{ik}^{(j)}$： 第j层的第k个神经元和第j+1层的第i个神经元之间的权值；
  $h_{\Theta }(\text{x})$：输出层的激活函数；
  神经网络的结构(architecture)：神经网络共具有多少层，每层具有多少神经元等等，都属于神经网络的设计范围内，称为神经网络的结构。

2.2 神经网络的计算

  假设神经网络是上图，则其数学表达式如下：
$$a_1^{(2)}=g({\Theta }_{10}^{(1)}{x}_{}$$