凸优化
文章平均质量分 69
佟学强
联结主义学派和统计学派融合的研究者
展开
-
《凸优化》学习笔记(一)
《凸优化》学习笔记(一) ?凸优化在数学优化中有着重要且特殊的身份。数学优化是一个广泛的话题,理解凸优化之前,请先理解线性优化。在机器学习算法中,已知的比如LogisticRegression,SVM,都与数学优化有关,在数学中,不存在无约束优化问题。比较常见的构建损失函数方法,从最简单的两个向量的二阶范数的平方(KNN,Kmeans)到linea...原创 2017-03-19 11:03:00 · 778 阅读 · 1 评论 -
谈谈分类超平面
https://zhuanlan.zhihu.com/p/80517380原创 2019-10-20 11:03:09 · 1358 阅读 · 0 评论 -
《凸优化》学习笔记(一)
凸优化在数学优化中有着重要且特殊的身份。数学优化是一个广泛的话题,理解凸优化之前,请先理解线性优化。在机器学习算法中,已知的比如LogisticRegression,SVM,都与数学优化有关,在数学中,不存在无约束优化问题。比较常见的构建损失函数方法,从最简单的两个向量的二阶范数的平方(KNN,Kmeans)到linearRegression、LogisticRegression的最小二乘模型,再...原创 2018-10-23 19:35:49 · 1210 阅读 · 1 评论 -
凸优化中几个比较重要的推断
1.泛函数的几何意义2.共轭函数的几何意义3.凸函数的局部最优解就是全局最优解4.最优解的判断准则证明5.无约束二次规划解讨论6.分离超平面定理...原创 2019-03-19 15:58:35 · 524 阅读 · 0 评论 -
凸优化思考之一:KKT条件的来源
原创 2019-04-29 22:17:36 · 504 阅读 · 0 评论 -
从数学角度探究梯度下降算法的本质
以数据驱动的AI,根本任务有两个:①建立系统的评价准则或者规则;②寻找最优的归纳偏置。找到最优的归纳偏置关键在于参数的优化算法。目前机器学习的参数优化算法集中在遗传算法,模拟退火,SGD等。1996年非常具有代表性的论文lasso在损失函数的多准则构建上做出了杰出贡献。这篇论文属于基础学科研究领域,对后来的AI理论发展起到了非常大的推进作用。在众多的AI公开课中,很少有从数学角度深入研究这个课题的...原创 2019-06-19 22:15:43 · 1205 阅读 · 0 评论