机器学习：算法？？

在固定的条件下，求一个最值，这类问题都是优化问题。

• 一条直线在某个定义域内的最值
• 抛物线在整个定义域的最值
• 多元函数的某个变量的最值

无非是模拟一个多元空间，求取一个或者几个数据的最值。

研究这类问题有两个步骤：

1. 问题建模
2. 优化算法

机器学习的建模

太极生两仪，两仪生四象，四象生万物。
判别是非的能力，是最基础的二进制方式，是与否。
多少个是与否组成了更加复杂的逻辑判断的准则。

• 对曲线与直线的判断
• 对封闭与开放的判断
• 对人脸与非人脸的判断

我们用数学语言去描述这类问题：
$Y=F(X)$
$F$,$X$和$Y$可以是非常复杂的。让人脑无法判断具体的$F$的时候，我们可以引用机器学习，来训练出优化模型。
常见的最优化方法有梯度下降法、牛顿法和拟牛顿法、共轭梯度法。

• 二进制分类：邮件->（非）垃圾邮件
• 回归：位置，年份->房价

梯度下降

最早最简单的优化方法，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局解，梯度下降的速度也未必是最快的。

优化思想：当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向。
在机器学习中，基于基本的梯度下降法发展了两个梯度下降法：（1）随机梯度下降法（2）批量梯度下降法