神经网络的表达式 机器学习基础(3)

1 引言

神经网络可应对复杂的非线性分类。

1.1 非线性假设

当特征量多大时，特征的非线性组合方法种类的数量会非常庞大，可能对造成过拟合与极大的计算复杂度的问题，其数学表示为

$$\left| {\left\{ {{x_i}} \right\}} \right| = n > 100 \to \left| {\left\{ {{x_i}{x_j}} \right\}} \right| = \frac{{{n^2}}}{2} > 10000$$
例如， 图像上的 车辆识别
图像：50×50 pixels，等同于
$$x = \left[ {\begin{array}{*{20}{c}} {{\rm{pixel}}{\kern 1pt} {\kern 1pt} {\kern 1pt} 1}\\ \vdots \\ {{\rm{pixel}}{\kern 1pt} {\kern 1pt} {\kern 1pt} 2500} \end{array}} \right] \to \left| {\left\{ {{x_i}{x_j}} \right\}} \right| \approx 3 \times {10^6}$$
$x$ 的特征量超过了3000000！

1.2 神经与大脑的关系

神经元与中枢神经，计算与传递，amazing！神经网络可以说是模拟大脑中神经的运行模式。

2 神经网络的表达式

2.1 模型表达 1

1. 2层的神经网络
   仅包含输入层和输出层，如下图所示。
   

2. 3层的神经网络
   包含一层隐藏层，如下图所示。
   

3. 神经网络的权重方程
   
   参考如上所示的神经网络，有如下单元方程：
   

   $$a_1^{\left( 2 \right)} = g\left( {\theta _{10}^{\left( 1 \right)}{x_0} + \theta _{11}^{\left( 1 \right)}{x_1} + \theta _{12}^{\left( 1 \right)}{x_2} + \theta _{13}^{\left( 1 \right)}{x_3}} \right)\\a_2^{\left( 2 \right)} = g\left( {\theta _{20}^{\left( 1 \right)}{x_0} + \theta _{21}^{\left( 1 \right)}{x_1} + \theta _{22}^{\left( 1 \right)}{x_2} + \theta _{23}^{\left( 1 \right)}{x_3}} \right)\\{h_\theta }\left( x \right) = g\left( {\theta _{10}^{\left( 2 \right)}a_0^{\left( 2 \right)} + \theta _{11}^{\left( 2 \right)}a_1^{\left( 2 \right)} + \theta _{12}^{\left( 2 \right)}a_2^{\left( 2 \right)}} \right)$$
   ${\theta ^{\left( j \right)}}$ 为 ${S_{j + 1}} \times \left( {{S_j} + 1} \right)$ 矩阵。
   其中， $S_{j+1}$ 为 $j+1$ 层单元数， $S_j$ 为 $j$ 层单元数，$S_{j+1}$ 中的 $+1$ 表示增加一个” $1$”的$a_0^{(j)}$单元。

   2.2 模型表达 2

   模型采用向量化计算效率更高，神经网络的数学表达有利于非线性学习。
   前向传播：

   1. 形式：
      输入层 –（隐藏层）–> 输出层，其中输出的猜想 ${h_\theta }\left( x \right)$ 并不和 $x$ 直接相关，进而，第 $i$ 层采用 $i-1$ 层的特征。

   2. 传播形式的数学公式：
      

      $$\left\{ \begin{array}{l} {z^{\left( i \right)}} = {\theta ^{\left( {i - 1} \right)}}{a^{\left( {i - 1} \right)}}\\ {a^{\left( i \right)}} = g\left( {{z^{\left( i \right)}}} \right) \end{array} \right.$$

   3. 3层神经网络传递形式：
      

      $$\left\{ \begin{array}{l} {z^{\left( 2 \right)}} = {\theta ^{\left( 1 \right)}}{a^{\left( 1 \right)}}\\ {a^{\left( 2 \right)}} = g\left( {{z^{\left( 2 \right)}}} \right) \end{array} \right. \mathop \to \limits^{add ~ a_0^{(2)}} \left\{ \begin{array}{l} {z^{\left( 3 \right)}} = {\theta ^{\left( 2 \right)}}{a^{\left( 2 \right)}}\\ {h_\theta }\left( x \right) = {a^{\left( 3 \right)}} = g\left( {{z^{\left( 3 \right)}}} \right) \end{array} \right.$$
      其中，
      $x = {\left[ {\begin{array}{*{20}{c}} {{x_0}}&{{x_1}}&{{x_2}}&{{x_3}} \end{array}} \right]^T}$
      ${z^{\left( 2 \right)}} = \left[ {\begin{array}{*{20}{c}} {z_1^{\left( 2 \right)}}\ {z_2^{\left( 2 \right)}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\theta _{10}^{\left( 1 \right)}{x_0} + \theta _{11}^{\left( 1 \right)}{x_1} + \theta _{12}^{\left( 1 \right)}{x_2} + \theta _{13}^{\left( 1 \right)}{x_3}}\\ {\theta _{20}^{\left( 1 \right)}{x_0} + \theta _{21}^{\left( 1 \right)}{x_1} + \theta _{22}^{\left( 1 \right)}{x_2} + \theta _{23}^{\left( 1 \right)}{x_3}} \end{array}} \right]$

   3 应用

   3.1 案例 1

   Example:
   1）AND运算
   2）OR运算
   3）XOR运算
   4）XNOR运算：
   上述例子等同于逻辑回归模拟0-1逻辑电路。

   3.2 案例 2

   手写数字分类（Handwritten digit classification）：0-9

   多类别分类（Multiclass Classification）

   ${h_{^\theta }}\left( x \right) \in R{^n}$
   其中，$n$ 类别，即 $n$ 个输出单元。
   例如：数字分类 0-9

   1. 输出
      

      $${\left[ {\begin{array}{*{20}{c}} {h_\theta ^{\left( 1 \right)}\left( x \right)}&{h_\theta ^{\left( 2 \right)}\left( x \right)}& \cdots &{h_\theta ^{\left( n \right)}\left( x \right)} \end{array}} \right]_{n \times n}}$$

   2. 训练集 $(x^{(i)}, y^{(i)})$
      

      $${y^{\left( i \right)}} = \left[ {\begin{array}{*{20}{c}} 0\\ \vdots \\ {{1_{\left( i \right)}}}\\ \vdots \\ 0 \end{array}} \right]^{T} \mathop \to \limits ^{训练} {h_\theta }\left( {{x^{\left( i \right)}}} \right) \approx {y^{\left( i \right)}}$$