复旦大学邱锡鹏《神经网络与深度学习》第二讲 机器学习概述

2.1 概率基本知识

2.2 机器学习的定义

2.3 机器学习类型

2.4 机器学习要素

2.5 泛化与正则化

2.6 线性回归

线性模型中的b可以通过将w增加一维即可消除。

最小二乘法要求xxT存在逆矩阵，这个条件有时候不满足，因此最小二乘法不是总适用。改进的方法是SGD和降维方法。

2.7 多项式回归

2.9 线性回归的概率视角

2.9 模型选择与“偏差-方差”分解

2.10 常用的定理