Deep Learning 第五章 机器学习基础

5.1 学习算法

概念：对于某类任务 T 和性能度量P，一个计算机程序被认为可以从经验 E 中学习是指，通过经验 E 改进后，它在任务 T 上由性能度量 P 衡量的性能有所提升。

5.1.1 任务T

常见机器学习任务

5.1.2 性能度量 P

准确率，错误率

5.1.3 经验 E

根据不同经验，分为无监督和监督学习算法

5.1.4 线性回归

简单实例

5.2 容量、过拟合和欠拟合

• 在先前未观测到的输入上表现良好的能力被称为泛化 (generalization)。
  
  • 训练误差，测试误差（泛化误差）
  • 在我们的线性回归实例中，我们通过最小化训练误差来训练模型
• 通俗地，模型的容量是指其拟合各种函数的能力。

5.2.1 没有免费午餐定理

没有通用的学习算法或是绝对好的学习算法，没有最优的正则化形式

5.2.2 正则化

权重衰减（w为权重）：修改线性回归的训练标准，MSE+正则项(λ控制)=J(w)

正则化是指我们对学习算法所做的降低泛化误差而非训练误差的修改

5.3 超参数和验证集

多项式回归实例中，有一个超参数：多项式的次数，作为容量超参数。控制权重衰减程度的 λ 是另一个超参数。