线性回归、逻辑回归、SVM以及凸优化的一些推导总结

最新推荐文章于 2021-12-06 09:15:59 发布
最新推荐文章于 2021-12-06 09:15:59 发布
阅读量419 收藏 1
点赞数
分类专栏： 机器学习算法 文章标签： 机器学习 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/HustQbw/article/details/119865815
版权
这篇博客总结了机器学习中的线性回归、逻辑回归和支持向量机（SVM）的模型推导与实现。线性回归通过梯度下降进行参数优化，逻辑回归利用同样方法处理分类问题。SVM的目标是最优间隔，通过拉格朗日乘子法解决等式约束，涉及KKT条件，优化过程中可能使用SMO算法。博客还探讨了Hinge Loss及其在SVM训练中的应用，并讨论了是否能用梯度下降训练SVM。
摘要由CSDN通过智能技术生成

线性回归、逻辑回归、SVM以及凸优化的一些推导总结

机器学习部分模型推导与实现

Linear Regression 线性回归

gradient descent相关计算推导

在这里插入图片描述

Logistic Regression 逻辑回归

gradient descent相关计算推导

在这里插入图片描述

Supprot Vector Machine 支持向量机

优化目标（硬间隔SVM 又称最大间隔分类器

在这里插入图片描述

支持向量是位于间隔上的数据点

优化目标：间隔margin最大

margin = 2/||w|| 要这个最大

即要minimize ||w||/2

约束条件

在这里插入图片描述

由上图可知，

要求yi(wx+b)>=1

拉格朗日乘子、松弛变量与KKT条件

要从梯度去理解！！！

一个问题说明拉格朗日乘子法解决等式约束

现在我们要解决这样一个问题：x^2*y=3 这个函数距离原点最近的距离是多少。

函数曲线：

在这里插入图片描述

梯度图像
在这里插入图片描述
在这里插入图片描述

梯度理解拉格朗日乘子法

在这里插入图片描述

梯度与等值面：https://zhuanlan.zhihu.com/p/111723231

对偶问题

参考：https://zhuanlan.zhihu.com/p/114574438

https://blog.csdn.net/frostime/article/details/90291392

SVM优化推导

https://blog.csdn.net/d__760/article/details/80387432

求解α：SMO算法，见上链接

Hinge Loss

https://blog.csdn.net/weixin_43373042/article/details/107704383?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522162936210216780271588195%2522%252C%2522scm%2522%253A%252220140713.130102334…%2522%257D&request_id=162936210216780271588195&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2allbaidu_landing_v2~default-1-107704383.first_rank_v2_pc_rank_v29&utm_term=SVM%E4%BC%98%E5%8C%96%E6%8E%A8%E5%AF%BC&spm=1018.2226.3001.4187

能否用梯度下降训练SVM

https://www.zhihu.com/question/265751466

“ 麋路 ”的回答

Shlily.
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Logistic Regression是凸优化问题吗？
Working. Playing.
05-15 4300
对LR的理论探讨
线性回归、逻辑回归、RNN、CNN、KNN、SVM算法总结
BigDataEngineer的博客
10-29 9765
常见的监督学习：线性回归、决策树、朴素贝叶斯分类、最小二乘法、逻辑回归、支持向量机、集成方法 常见的无监督学习：聚类算法、主成分分析、奇异值分解、独立成分分析。 常用的分类器包括SVM、KNN、贝叶斯、线性回归、逻辑回归、决策树、随机森林、xgboost、GBDT、boosting、神经网络NN。 常见的降维方法包括TF-IDF、主题模型LDA、主成分分析PCA等等 常用的回归技术：线性回归、多项...
凸优化解决线性回归问题
weixin_48457572的博客
05-01 998
感觉在机器学习和深度学习的过程中遇到了瓶颈，细想觉得来自于之前对于优化课程里的知识，尤其是各类规划问题没有完全理解下来，没有把两个学科结合起来学习。 受挫明显让我觉得把只是重新拿出来啃一啃，对于复杂的数学式子逐步拆分理解下来。 课程学习的教材是经典的Boyd的convex optimization，同时也参考了一些csdn大神的文章。 引言 第一章，引言 就不说了，对于这种稍闭环的书，前面主要只是介绍一下研究对象 凸集和凸函数基础概念 第二章 凸集 引入凸集的概...
【吴恩达系列】machine learning课程week1----机器学习概述/单变量线性回归/凸优化
2020找offer
04-14 195
Week1：机器学习基础 机器学习： “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves ...
逻辑回归推导理解及与SVM比较
Mark_Australia的博客
03-12 481
逻辑回归的似然函数： 其中yi代表1或0，如果某一样本的结果为正例则其对应概率为pi(x)，如未负例则对应概率为1-pi(x) 总体的样本概率为每个样本的概率乘积。 如果是直接使用最大似然估计的似然函数得到目标函数，则需要使用梯度上升； 如果是使用负对数似然函数NLL，则需要使用梯度下降算法。 ——无论上升还是下降，本质都是一样的。 参考： https://blog.csdn.net/hao5335156/article/details/82388151(理解yi的意思..
什么是凸函数？逻辑回归凸优化？
十三
12-06 478
????️凸函数？ 函数L(·）是凸函数，当且仅当对定义域内的任意两点x,yx, yx,y和任意实数λ\lambdaλ总有L(λx+(1−λ)y)≤λL(x)+(1−λ)L(y)L(\lambda x + (1-\lambda)y) \leq \lambda L(x) + (1-\lambda) L(y)L(λx+(1−λ)y)≤λL(x)+(1−λ)L(y) 凸函数曲面上任意两点连成的线段，其上任意一点都会在曲线上方 二阶导数非负 ????逻辑回归对应的优化问题就是凸优化。 对于二分类，Y∈{−1,1
学习笔记1：线性回归和逻辑回归、AUC
m0_64375823的博客
11-23 797
复习笔记1——线性回归和逻辑回归 文章目录复习笔记1——线性回归和逻辑回归一、机器学习基本概念1.1 什么是模型1.2 极大似然估计1.3为啥使用梯度下降法求解1.4 梯度下降法本质1.5 梯度下降的算法调优1.6 归一化的作用1.7 类别特征的表示1.8 组合特征二、线性回归2.1为啥线性回归使用mse做损失函数2.2 线性回归的抗噪声、抗冗余2.3 正则化和过拟合2.4 欠拟合的解决办法2.5 泛化误差上界三、逻辑回归3.1为何逻辑回归使用交叉熵为损失函数3.2如何理解AUC3.2.1、关于ROC的几个
三天爆肝快速入门机器学习：线性回归、逻辑回归、岭回归【第三天】
weixin_56957149的博客
04-17 1384
三天爆肝快速入门机器学习【第三天】线性回归过拟合和欠拟合岭回归逻辑回归保存和加载模型K-Means 线性回归 学术上： 线性回归属于回归问题 它包含一元线性回归和多元线性回归 形象讲解开始： 我们先从一元的线性回归下手 参见上一篇《初探篇》里对用于模型训练的样本的定义，样本可以是音频、图片、点集等等，这里我用一个简单的点集作为我们的样本解释，如图 图片 你们看这些离散的点有各自的坐标值，其实这就是一组很小型的数据了，你完全可以类比实际应用的值 （这里用Andrew Ng教授很喜欢的房价比喻来解释吧） 比如这
逻辑回归（logistic regression）原理详解
guoziqing506的博客
08-01 10万+
机器学习解决的问题，大体上就是两种：数值预测和分类。前者一般采用的是回归模型，比如最常用的线性回归；后者的方法则五花八门，决策树，kNN，支持向量机，朴素贝叶斯等等模型都是用来解决分类问题的。其实，两种问题从本质上讲是一样的：都是通过对已有数据的学习，构建模型，然后对未知的数据进行预测，若是连续的数值预测就是回归问题，若是离散的类标号预测，就是分类问题。 这里面有一类比较特殊的算法，就是逻辑回归...
对线性回归、逻辑回归、各种回归的概念学习
热门推荐
viewcode的专栏
04-17 28万+
回归问题的条件/前提： 1） 收集的数据 2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估计出参数。然后利用这个模型去预测/分类新的数据。 1. 线性回归 假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。 收集的数据中，每一个分量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形
机器学习第四课：SVM前置知识点（凸优化问题）
魔峥漫谈
09-07 5052
内容主要来源于 从凸优化到KKT
机器学习（四）逻辑回归Logistic Regression (LR)
Katrina_ALi的博客
07-17 555
　　今天写大名鼎鼎的LR，话说本宝宝认为这个算法真的是大隐隐于市的典范，简单大气，应用还广！啧啧啧~~~ 　　首先我们要明确的一个问题就是，虽然这个叫回归，让我们联想到了线性回归。但是，这是个分类算法，而不是回归算法！！！既可以作为二分类，也可以多分类哦~ 1.二元LR 1.1二元LR模型 　　二项逻辑回归模型是如下的条件概率： 　　P(Y=1∣x)=exp(w⋅x+b)1+exp(w...
关于SVM推导的中的数学概念：凸优化
每日进步一点点
09-24 969
1 关于凸函数 1.1凸函数的定义 在大学的高数课本上出现的凸函数其实与机器学习的凸函数并不太一样。在这里建议大家记住一个特殊的例子：，这个函数就是一个凸函数，可以方便大家理解。 下面这个是凸函数的定义： 设在区间上有定义,在区间上是凸函数当且仅当:，有 . 若≤改为＜，则是严格凸函数。 下面说一下关于凸函数的一阶条件与二阶条件及证明过程。 1.1 凸函数的一阶条件 一阶条...
逻辑回归简单总结
airplanefot的博客
08-04 520
现在是在学习吴恩达的深度学习课程，这个就当做每周的总结吧。 1 简介      据线性可分可以使用线性分类器，如果数据线性不可分，可以使用非线性分类器，这里似乎没有逻辑回归什么事情。但是如果我们想知道对于一个二元分类问题，对于具体的一个样例，我们不仅想知道该类属于某一类，而且还想知道该类属于某一类的概率多大,有什么办法呢？      ...
机器学习之凸优化
小猪观察家
09-12 1478
参考资料 概述 凸集和凸函数 凸优化及对偶问题参考资料参考视频:https://lagunita.stanford.edu/courses/Engineering/CVX101/Winter2014/about 貌似bilibili也有： http://www.bilibili.com/video/av8907218/ 但是没有字幕，对于英语差的人来说就麻烦了参考书籍：《Convex Opti
【技术分享】怎么理解凸优化及其在SVM中的应用
qq_42933419的博客
01-03 612
本文原作者：汪毅雄，经授权后发布。 原文链接：https://cloud.tencent.com/developer/article/1503367 导语：本文先介绍了凸优化的满足条件，然后用一个通用模型详细地推导出原始问题，再解释了为什么要引入对偶问题，以及原始问题和对偶问题的关系，之后推导了两者等价的条件，最后以SVM最大间隔问题的求解来说明其可行性。 凸优化理论广泛用于机器学习中，也是...
凸优化学习笔记
weixin_40196271的博客
03-01 1087
1.凸集：一个集合区域内任意两点的直线连接都在这个区域内，则这个集合为凸集。比如：扇形、缺失了某个边的矩形就不属于凸集。 2.超平面、半超平面 超平面：，半超平面：或者。其中超平面在二维空间就是直线。超平面和半超平面可以组成一个多面体，构成凸集。 3.保凸运算：交、仿射变换、透视变换 交：比如超平面之间的交集是个凸集； 仿射变换：，其中a是个矩阵，仿射变换可以经过平移、旋转、缩放。如果x...
机器学习（凸优化，SVM） 笔记整理
qq_44920808的博客
11-09 907
机器学习笔记（1） 凸优化、线性对偶问题 凸优化 一个AI问题可以把它分解为模型加优化两部分构成，模型有DL、SVM、CNN等，优化有GD，SGD，Adam等等。 机器学习的核心是优化问题。任何一个优化优化问题可以写作以下形式： 若待优化问题是凸函数，我们则可以找到一个全局最优解（Global optimal），如逻辑回归； 若为非突函数，我们找到的最优解通常为局部最优解（Local optimal） 如神经网络。 判断是否为凸优化问题 凸集的定义：假设对于任意x，y∈C，对任意的α∈[0,1]，有 αx
吴恩达机器学习3--逻辑回归(Logistic Regression)
weixin_44820355的博客
01-17 491
分类问题 在分类问题中，你要预测的变量 ???? 是离散的值，我们将学习一种叫做逻辑回归 (Logistic Regression) 的算法，这是目前最流行使用最广泛的一种学习算法。 在分类问题中，我们尝试预测的是结果是否属于某一个类（例如正确或错误）。分类问题的例子有：判断一封电子邮件是否是垃圾邮件；判断一次金融交易是否是欺诈；判断肿瘤是恶性还是良性 先从二元分类来讨论 我们将因变量可能属于的两个类别...
回归与最优化：线性与逻辑回归详解及梯度方法
总结来说，这个资源详细讲解了回归分析中的核心技术和策略，包括线性回归的原理、优化方法（梯度下降）、广义线性回归中的逻辑回归以及参数学习和非参数学习的区别。通过深入理解这些内容，学习者可以更好地掌握机器...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值