线性代数|机器学习-P27用于深度学习的神经网络结构

1. 概述

– 1. 卷积神经网络 CNNs
– 2. 连续型线性分段函数 F
– 3. 损失函数
– 4. 链式法则计算反向传播算法梯度$\nabla F=\mathrm{grad}F$

2. 参数定义

• 我们定义每个样本有m维度特征，有n个样本；具体如下
  $$\begin{array}{c}X=\left[\begin{array}{cccc}{x}_1& x_2& \cdots & x_n\end{array}\right],x_i=\left[\begin{array}{c}{x}_{i1}\\ \\ x_{i2}\\ \\ ⋮\\ \\ x_{im}\end{array}\right]\end{array}$$
• 最终问题为 二分类问题,创建一个神经网络函数$F(x)$如下：
  $$\begin{array}{c}Result=\{\begin{array}{rlr}+1& & F(X)>0\\ -1& & F(X)<0\end{array}\end{array}$$
• 有趣的可视化训练神经网络网站 TensorFlow
• 激活函数，也叫非线性函数，是为了将线性函数转换为非线性函数，提高模型拟合能力
  R e L u ( x ) = max ⁡ { 0 , x } \begin{equation} \mathrm{ReLu}(x)=\max\{0,x\} \end{equation} ReLu(x)=max{0,x}​​
  
• Epoch(一代训练) ：使用训练集的全部数据对模型进行一次完整训练为一代训练
• Batch(一批数据)：使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这一部分样本被称为一批数据
• Iteration(一次迭代)：使用一个Batch数据对模型继续宁一次参数更i性能的过程叫做一次迭代

3. CNN 网络

$$\begin{array}{c}{y}_1=A_1{x}_0+b;y_1\to 6\times 1;A_1\to 4\times 3;x_0\to 3\times 1;b\to 4\times 1\end{array}$$

• 单个神经元函数如下：
  $$\begin{array}{c}{F}_1(x)=\mathrm{ReLu}(A_1{x}_0+b_1)\end{array}$$
• 多层网络函数表示如下：
  $$\begin{array}{c}F(x)=F_3(F_2(F_1(x)))\end{array}$$
• 那么可以简单的把$F(X)$看作是一个分段线性函数：简单来说，卷积神经网络函数还是用一系列分段的线段来拟合复杂的函数，
  
• 超平面切割

• 计算公式
• 特例，当m为2时：
  $$\begin{array}{c}r(N,2)=C_N^0+C_N^1+C_N^2\end{array}$$
  - 递归公式：