感知机与逻辑回归代价函数的凸性判断证明

感知机与逻辑回归代价函数的凸性判断证明

在机器学习中，写出需要优化的代价函数后，凸性的判断有助于我们选择优化算法，也有助于我们判断最后解是否全局最优。

由于凸函数的驻点必为全局最小值，这一优良性质。

我们希望代价函数是凸函数，这样可以让我们可以选择简单的梯度下降或者牛顿法进行优化求解。

这里我们讨论感知机和逻辑回归的代价函数的凸性判断。

以下是《机器学习精讲》的习题内容，下面是我解答的答案，希望对大家有帮助，如有错误，也望大家不吝指出。

---

文章需要先了解，凸函数的定义已经判断方法，可以参考文章：https://blog.csdn.net/weixin_43633501/article/details/89490115

感知机凸性判断（习题4.1），使用零阶凸性判断。
逻辑回归凸性判断（习题4.2），使用二阶凸性判断。其中，二阶凸性涉及到二次求导出的海森矩阵，需要证明矩阵的特征值都为非负的。（对称矩阵证明矩阵非负，有一个更为简便的方法，涉及到习题2.9和习题2.10的证明）

文章涉及到的证明：

1. 感知机的代价函数是凸函数
2. 凸函数相加，仍然是凸函数
3. softmax/逻辑回归的代价函数是凸函数
4. 如何不用计算出特征值，来证明对称矩阵在什么时候所有的特征值都是非负的
5. 外积矩阵的所有特征值都是非负的
6. 外积矩阵和（权重非负）的所有特征值都是非负的

---

以下是二阶凸性的技巧证明