第7章：优化算法

实际上，机器学习算法 = 模型表征 + 模型评估 + 优化算法

1 有监督学习的算是函数

        ~~~~~~~        机器学习算法的关键一环是模型评估，而损失函数定义了模型的评估指标。可以说，没有损失函数就无法求解模型参数。不同的损失函数优化难度不同，最终得到的模型参数也不同，针对具体的问题需要选取合适的损失函数。

问题：有监督学习涉及的损失函数有哪些?请列举并简述他们的特点

绝对损失函数相当于是在做中值回归，相比做均值回归的平方损失函数，绝对损失函数对异常点更鲁棒一些

2 机器学习中的优化问题

知识点：凸优化基本概念

问题：机器学习中的优化问题，哪些是优化问题，哪些是非凸优化问题？

        ~~~~~~~        逻辑回归，对应的优化问题就是凸优化问题，其他凸优化问题的例子包括支持向量机、线性回归等线性模型。
        ~~~~~~~        主成分分析对应的优化问题是非凸优化问题，非凸优化问题的例子包括低秩模型（如矩阵分解）、深度神经网络模型等。

3 经典优化算法

问题：无约束优化问题的优化方法有哪些？

        ~~~~~~~        经典的优化算法可以分为直接法和迭代法两大类。
        ~~~~~~~        直接法，顾名思义，就是能够直接给出优化问题最优解的方法。这个方法听起来非常厉害的样子，但它不是万能的。直接法要求目标函数需要满足两个条件。第一个条件是，L(·)是凸函数。若L(·)是凸函数，那么θ是最优解的充分必要条件是L(·)在θ处的梯度为0，

        ~~~~~~~        一阶法：梯度下降法。二阶法：牛顿法

4 梯度验证

问题：如何验证求目标函数梯度功能的正确性？

5 随机梯度下降算法

问题：当训练数据量特别大时，经典的梯度下降法存在什么问题，需要做如何改进？

6 随机梯度下降法的加速

问题1：随机梯度下降法失效的原因——摸着石头下山

问题2：解决之道——惯性保持和环境感知

7 L1正则化与稀疏性

问题1：L1正则化使得模型参数具有稀疏性的原理是什么？