复旦大学邱锡鹏老师深度学习课程笔记（一）—— 一些模型概述

如何开发一个人工智能系统：

表示学习

机器学习中的浅层学习：

人们对文本、图像等的理解无法从字符串、图像等的底层特征中直接获得高层语义，我们需要从底层特征中构造一些“表示”，这些“表示”能够蕴含出高级语义。

• 一般而言，一个好的表示具有以下几个优点:
  应该具有很强的表示能力
  应该使后续的学习任务变得简单
  应该具有一般性，是任务/领域独立的
• 分类：局部表示和分布式表示
  
  区别是：前者是所有维度加起来代表一个语义；后者是一个维度代表一个语义。
  例如：颜色：
  
• 表示学习：
  
• 特征提取和表示学习的区别：
  特征提取-基于任务或先验去除无用特征；
  表示学习-通过深度模型学习高层语义特征

深度学习

深度学习=表示学习+决策(预测)学习

神经网络

• 人工神经网络：
  
  输入层-一个或多个隐藏层-输出层
  

神经网络天然不是深度学习，但深度学习天然是神经网络

机器学习

典型监督学习：回归、分类；
典型无监督学习：聚类、降维、密度估计

正则化的方法

• 提前停止：
  如果在验证集上的错误率不再下降，就停止迭代，经常用于配合随机梯度下降来使用。

回归

• 岭回归：
  其实就是在线性回归的经验风险的基础上加入了一个正则化项，变成了结构风险：
  
  可以防止X*(X)^T不可逆时导致的线性回归无最优解：
  w*=[ ( X*(X)^T + λI ) ^ (-1) ]*Xy

线性回归的概率视角