机器学习模型/算法—— 阶段性总结（1）模型框架：假设函数、目标函数和优化算法

机器学习算法/模型分类：

• 监督学习
  分类、回归
• 无监督学习
  聚类、降维
• 强化学习

0. 相关概念（记录）

• 损失函数、经验风险、结构风险
  目标函数 = 结构风险函数 = 经验风险函数 + 正则项
• Hessian矩阵正定
  一阶导数信息：梯度
  二阶导数信息：Hessian矩阵
  正定（positive definite）的直观理解：正定矩阵A使得向量经过 Ax 变换后与变换之前的夹角恒定小于 $\frac{\pi }{2}$。

…

1. 从假设函数到目标函数

对于几乎所有机器学习算法，无论是有监督学习、无监督学习，还是强化学习， 最后一般都归结为求一个目标函数的极值，即最优化问题。

首先，要明白下面几