凸优化简介1

最新推荐文章于 2024-10-18 15:36:14 发布

qq_36573282

最新推荐文章于 2024-10-18 15:36:14 发布

阅读量264

点赞数

文章标签：凸优化机器学习

本文链接：https://blog.csdn.net/qq_36573282/article/details/104807601

版权

本文介绍了凸优化在机器学习中的重要性，讲解了优化方法与机器学习的关系，特别是0-1损失函数和Hinge Loss在分类任务中的应用。通过极大似然估计和最大后验估计的角度分析了目标函数的优化过程，最后概述了凸优化问题的一般形式及其分类。

摘要由CSDN通过智能技术生成

文章目录

1. 优化方法与机器学习
2. 凸优化问题的一般形式

1. 优化方法与机器学习

假设样本空间 $X$ ，label 空间 $Y$ ，假设空间 $H$ 包含从 $X$ 到 $Y$ 的映射。损失函数 $Y\times Y \rightarrow \mathcal{R}$ 。在 $X\times Y$ 的空间上的概率分布 $P$ 。
定义假设空间中的 $h\in H$ ， $h$ 的风险值为 $\mathcal{L}_{p}(h)=E_{p}(L(h(x),y))$ 。机器学习算法的目标就是要从假设空间 $H$ 中找到一个映射 $h$ ，使得最小化风险值(risk)， $min_{h\in H} \mathcal{L}_{p}(h)$ 。
常用的方法是经验风险最小化(empirical risk minimization)， $min_{h \in H}\sum_{i=1}^{n}L(h(x_i),y_i)=min_{\theta}\sum_{i=1}^n L(h_{\theta}(x_i),y_i)$ 。公式中 $\theta$ 表示模型中的参数。因此目标可以转换为求取最好的那个参数来最小化经验风险， $\theta_{*}=argmin_{\theta}\sum_{i=1}^{n}L(h_\theta(x_i),y_i)$ 。
对于分类任务， $y_i \in \{-1,1\}$ ，而对于回归任务，则 $y_i \in \mathbb{R}$ 。

1.2 几种损失函数

1.2.1 0-1 损失函数

对于分类任务来说，可以根据误分类的个数作为损失函数，即 $\sum_{i=1}^n \mathcal{1}_{sign(h(x_i))\neq y_i}=\sum_{i=1}^{n}\mathcal{1}_{h(x_i)y_i < 0}$ 。公式中的 $\mathcal{1}$ 是一个向量， $\mathcal{1}_i=\{_{0,otherwise.}^{1, 正确分类}$