上海复旦大学吴立德教授深度学习课程一

简介

DL是ML的分支，DL的框架与ML框架的一部分。

ML框架

• 数据 D

  $$\begin{equation} D = \{ x_i,y_i | 1 \le i \le m \} \end{equation}$$
  $x_i$是监督学习的训练数据输入， $y_i$输入训练数据对应的输出.

• 模型 M

  $F = \{ f(x; \theta), \theta \in \Theta \}$

  • 线性模型：$y = f(x) = \omega^Tx + b$
  • 广义线性模型：$y = f(x) = \omega^T \phi(x) + b$
  • 非线性模型：ANN - - -DL模型

• 准则 C

  • 损失函数 $L(y,f(x))$
  • 经验风险$R(\theta) = \frac{1}{m}\sum_{i=1}^{m}{L(y_i,f(x_i,\theta))}$
  • 正则项：$||\omega||^2$
  • 目标函数： $min R(\theta)+\lambda||\omega||^2$

线性模型和广义线性模型

对于一部分数据来说，本身就是稀疏的，可以通过线性模型直接优化求解的模型，有很大一部分数据本身不是稀疏度，不可以通过线性模型直接求解，但是此类数据在其他域如小波域，DCT域等可以稀疏表示，从而通过线性模型进行优化求解。

ANN简介

• 
  
• 神经元
  

$y = f(\sum_{i} w_ia_i+b_i)$

• 神经层
  多个神经元组成神经层。
• 神经网

全参数ANN问题

可训练参数太多
1. 计算资源要大 需要海量的CPU来玩这个算法。
2. 数据量充足 数据量小，参数多，过拟合的问题就严重了。
3. 算法效率要高 茫茫大海中如何去寻找那组最优的参数需要高效的进行。
4. 解释困难 虽然模型取得效果，但是很难直观解释为什么模型会work。
5. 当神经网络层数增多时问题变为非凸优化问题，引入局部极值问题。
6. 具有梯度弥散问题，当层数增多时会出现过拟合问题。