![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数值与优化
XiaomengYe
脚踏实地,专注,升华
展开
-
Jensen不等式简介
Jensen不等式在机器学习领域的应用广泛,下面我们来对它做一下总结。我们知道,按照凸优化的定义,若f为凸函数有: 此处,。利用归纳法,我们可以很容易将其扩展到多维情况: 这里且。有趣的是,上式中如果k无限大,我...原创 2019-04-18 15:52:19 · 3103 阅读 · 0 评论 -
常见损失函数总结(二)
回归损失函数(1)Mean Square Error(L2损失) 图像为:(2)Mean AbsoluteError (L1损失) ...原创 2019-05-20 13:21:48 · 336 阅读 · 0 评论 -
常见损失函数总结(一)
在介绍常见损失函数之前,我想先就选择损失函数的意义做一下探讨,我认为损失函数应该从两个方面去进行考量:(1) 如果损失函数达到最优了,在多大程度上可以认为模型的性能是非常好的?这点是最基本的要求,如果即使损失函数达到了全局最优,模型性能仍然不能很好的工作(例如MSE对比MAE,即使找到了全局最优仍然不能获取很好的性能),那应该考虑换个模型或者损失函数。(2) 损失函数是否可以到达最优点或者...原创 2019-05-18 23:48:30 · 1768 阅读 · 0 评论 -
对偶性(duality)以及KKT条件
1. 拉格朗日对偶函数在之前博客讨论等式约束最优化问题时,我们介绍了过拉格朗日乘子法以及朗格朗日函数。事实上,对于不等式约束,我们也有着对应的拉格朗日方程。考虑标准形式的优化问题: 其拉格朗日函数为: ...原创 2019-04-26 23:19:59 · 5362 阅读 · 0 评论 -
拉格朗日乘子法
最优化基本知识这里就不赘述了,详情可以参考个种最优化书籍,这篇博客主要是帮助回忆优化应用中较常用的方法。一般情况下,最优化问题会碰到一下三种情况:1. 无约束, 2. 等式约束 3. 不等式约束。对于无约束情况,只要将优化目标对于变量求导,并令其等于0即可,我们主要讨论第二种情况。设目标函数为f(x),约束条件为h_k(x) : ...原创 2019-04-25 12:34:20 · 549 阅读 · 0 评论