Cousera - Machine Learning - 课程笔记 - Week 4

2018年9月版本

Week 4

非线性假设函数 Non-linear Hypothesis

• 对于图像这类非线性回归问题，使用逻辑回归会引入大量的特征项（二次、三次项），进行回归拟合会非常困难

神经元与大脑 Neurons and the Brain

• 一种试图模拟大脑的算法

神经网络模型表示

神经元模型：逻辑单元

• 获得输入信息，经过计算处理后，得到输出

• 对于一个神经元，其输入可能存在一个偏置单元，其值恒等于1，部分情况下会被省略

• θ，参数，在神经网络中有时也被称为权重

神经网络

• 一组神经元组合到一起的模型
• 第一层，输入层，输入特征项
• 中间一层，隐藏层，隐藏层数值不会在训练集中得到，通常情况下，模型中会有超过一层隐藏层
• 第三层，输出层，该层神经元计算得到最终输出值
• $a_i^{(j)}$，j层第i个单元的激活值
• ${\Theta }^{(j)}$，控制由j层到j+1层的权重矩阵
• 上述模型的计算过程如下：
  KaTeX parse error: No such environment: align* at position 7: \begin{̲a̲l̲i̲g̲n̲*̲}̲ a_1^{(2)} = g(…
• 如果一个网络在j层有$s_j$个单元，在j+1层有$s_{j+1}$个单元，那么${\Theta }^{(j)}$的维数为$s_{j+1}\times (s_j+1)$(加1是因为存在偏执单元而图上未标出，即算式中的0下标单元)

正向传播及其向量表示 Forward Propagation Vectorized Implementation

• 记输入层$x=a^{(1)}$
• $z^{(2)}={\Theta }^{(1)}{a}^{(1)}$，这一步的时候需要加入偏执节点$a_0^{(1)}$
• $a^{(2)}=g(z^{(2)})$
• $z^{(3)}={\Theta }^{(2)}{a}^{(2)}$，这一步的时候需要加入偏执节点$a_0^{(2)}$
• $h_{\Theta }(x)=a^{(3)}=g(z^{(3)})$

其他网络架构 Architectures

• 架构，即神经元之间是以何种形式链接的

• 每一层在做的事情实际上是完全一样的

多元分类 Multiclass Classification

• 神经网络在多元分类中的应用

多个输出单元的处理 One-vs-all

• 对于n个类别的分类任务，将输出（真实值）处理成一个n元的列向量，对应的类别值为1，其余为0