无约束优化方法(1):一阶梯度型方法
前置知识
(1)凸集
图示:
(2)凸函数
图示:
(3)凸优化
一般形式:
什么是凸优化问题?
答:目标函数为凸函数,且可行域为凸集。
(4)机器学习中的凸问题与非凸问题
凸问题:
- 线性最小二乘
- SVM
- 逻辑斯蒂回归
- 核方法
非凸问题:
- 主成分分析
- 神经网络
- K均值聚类
- 高斯混合模型
(1)凸集
图示:
(2)凸函数
图示:
(3)凸优化
一般形式:
什么是凸优化问题?
答:目标函数为凸函数,且可行域为凸集。
(4)机器学习中的凸问题与非凸问题
凸问题:
非凸问题: