![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
计算机数学基础
文章平均质量分 87
Asita_c
属实被自己菜哭了
展开
-
SMO算法数学推导
书接上回:支持向量机(SVM)数学推导学习笔记将SVM寻找找超平面的问题转换其对偶问题为:L=maxα∑i=1nαi−12∑i=1n∑j=1nαiαjyiyjxiTxjs.t.∑i=1nαiyi=0,ai≥0L=\max_\alpha\sum_{i=1}^n\alpha_i-\frac{1}{2}\sum_{i=1}^n\sum_{j=1}^n\alpha_i\alpha_jy_iy_jx_i^Tx_j\\s.t. \hspace{0.3mm}\sum_{i=1}^n\alpha_iy_i=0,a_原创 2022-10-15 15:02:20 · 572 阅读 · 0 评论 -
《最优化方法》拉格朗日对偶及KKT条件学习笔记
拉格朗日对偶经常被用来求解最优化问题,而机器学习的背后都是优化问题。SVM训练时,求解的原问题是一个凸优化问题,经过拉格朗日对偶变换后,可以将目标函数转化为凸函数。对偶,是解决最优化问题的一种常用的手段。它能够将一个最优化问题转化成另一个更容易求解的对偶问题。(最优拉格朗日乘子),若此对偶问题的全局(局部)对应的最优解为。满足强对偶时,可以通过求解对偶问题的解来得到原始问题的解。对于原问题为凸问题,KKT条件是。在原问题是凸问题的情况下,若。取最小值,求出极小值点带入。原创 2022-10-13 14:37:23 · 1323 阅读 · 0 评论 -
支持向量机(SVM)数学推导学习笔记
在机器学习中,支持向量机是在分类问题和回归问题中常用的监督式的机器学习算法。在n维欧式空间中,找到一个最佳的超平面,把数据分为两类,使得每个类到超平面的距离最远。给定数据集D={(x1,y1),(x2,y2),…,(xn,yn)}D=\{(x_1,y_1),(x_2,y_2),\dots,(x_n,y_n)\}D={(x1,y1),(x2,y2),…,(xn,yn)},其中,x∈Rn,y∈{−1,+1}x\in R^n,y\in\{-1,+1\}x∈Rn,y∈{−1,+1}类似二维空间中直线原创 2022-10-04 18:35:59 · 1019 阅读 · 0 评论 -
Wasserstein距离
Wasserstein距离定义:W(P1,P2)=infγ∼∏(P1,P2)E(x,y)∼γ[∥x−y∥]W(P_1,P_2)=\inf_{\gamma \sim \prod(P_1,P_2)}E_{(x,y)\sim\gamma}[\|x-y \|]W(P1,P2)=γ∼∏(P1,P2)infE(x,y)∼γ[∥x−y∥]解释:∏(P1,P2)\prod(P_1,P_2)∏(P1,P2)是P1P_1P1和P2P_2P2分布组合起来的联合分布的集合。对于每一个可能的联合分布γ\g原创 2022-05-25 11:49:30 · 774 阅读 · 0 评论 -
机器学习---线性模型
本帖为学习笔记帖,参照b站解读西瓜书、西瓜书来记的,如有错误,欢迎批评指正。基本形式(西瓜书上的)给定由 ddd 个属性描述的示例 x=(x1,x2,...,xd)x=(x_1,x_2,...,x_d)x=(x1,x2,...,xd),其中 xix_ixi 是 xxx 在第 iii 个属性上的取值,线性模型(Linear model)试图学得一个属性的线性组合来进行预测函数,即f(x)=w1x1+w2x2+...+wdxd+bf(x)=w_1x_1+w_2x_2+...+w_dx_d+bf(原创 2021-10-25 17:54:26 · 280 阅读 · 1 评论 -
机器学习的数学基础3:有限状态自动机
申明: 该博客主要用于课程问答,理解上存在许多不足的地方,欢迎批评指正!老师的原文目录1.机器学习的数学基础1:集合、关系、元组2.机器学习的数学基础2:字母表、二叉树、树3.机器学习的数学基础3:有限状态自动机首先什么是二叉树的自动机?1.二叉树的自动机描述确定的有穷状态下自动机定义如下:A deterministic finite state automata (DFA) is a 5-tuple MMM = (Σ,Q,q0,T(\Sigma,\bf{Q},\bm{q_0},\bm原创 2021-05-11 11:24:30 · 248 阅读 · 1 评论 -
机器学习的数学基础2:字母表、二叉树、树
机器学习的数学基础2:字母表、二叉树、树申明: 该博客主要用于课程问答,理解上存在许多不足的地方,欢迎批评指正!原文链接目录1.机器学习的数学基础1:集合、关系、元组2.机器学习的数学基础2:字母表、二叉树、树3.机器学习的数学基础3:有限状态自动机...原创 2021-05-10 16:29:32 · 386 阅读 · 0 评论 -
机器学习的数学基础1:集合、关系、元组
离散数学入门级概念:集合、关系、元组原文链接: https://blog.csdn.net/minfanphd/article/details/116245485?spm=1001.2014.3001.5502.习题 1: { 0, 1, { 0, 1 }, { 1, 2 } }有几个元素? 机器学习中, 这类形式的集合有什么优点和缺点?{ 0, 1, { 0, 1 }, { 1, 2 } }有 0、1、{0,1}、{1,2}四个元素。优点:可以包含多种类型的标签。缺点:这类形式的集合由于数据原创 2021-05-03 13:25:37 · 484 阅读 · 1 评论