李宏毅结构化学习 02

于 2024-09-16 15:31:09 发布
阅读量446 收藏 17
点赞数 10
分类专栏： 李宏毅结构化学习 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42830015/article/details/142176683
版权

文章目录

一、上篇博文复习

在这里插入图片描述

在这里插入图片描述

图中x表示输入的图片，y表示边界框， ϕ ( x , y ) \phi (x,y) ϕ(x,y)表示由x,y确定的特征强度，w表示需要训练学习的权重，
在这里插入图片描述
F(x,y)如果是线性的，是有很大的局限性。但如果F(x,y)不是线性的，本篇文章的后续推论，可能都不成立。所以这是一个尚待解决的问题。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

二、Separable Case

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
也就是和y的个数没有关系。

在这里插入图片描述

ρ \rho ρ是两个向量的夹角，范围是[0, π \pi π]，所以 ρ \rho ρ越小， cos ⁡ ρ \cos \rho cosρ就越大。
在这里插入图片描述

在这里插入图片描述
这里只证明的 cos ⁡ ρ \cos \rho cosρ的分子随着k的增大而增大，还需要看看分母是什么情况。

在这里插入图片描述

在这里插入图片描述

所有feature扩大两边，并不能加快训练。因为 δ \delta δ扩大两倍的同时，R也扩大了两倍。

在这里插入图片描述

三、Non-separable Case

在实际问题中很难找到Separable case的情况，即很难找到feature可以让正确和错误的分离，也不知道怎么找到它，所以要考虑Non-separable Case。

在这里插入图片描述

在这里插入图片描述
C的最小值是零。

在这里插入图片描述

在这里插入图片描述
除了边界值不能微分，其他地方都能微分。

在这里插入图片描述

四、Considering Errors

在这里插入图片描述
我们希望所选的 w w w, 使得y与正确的那个越接近，计算的 x ⋅ ϕ x \cdot \phi x⋅ϕ ,越大，即与正确的越接近。
这样做的好处是，即使testing和training有一些差距，即使testing的第一名不是正确的，但是所输出的第一名和正确的差距不会很大。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
上界 C 变小，可能会使 C’ 随之也变小。

在这里插入图片描述

在这里插入图片描述

五、Regularization

在这里插入图片描述

在这里插入图片描述

六、Structured SVM

在这里插入图片描述
因为我们要最小化C，所以上图中的倒数第三行和倒数第二行等价的。

请添加图片描述

习惯上，这时我们就把 C n C^n Cn写为 ε n \varepsilon^n εn
在这里插入图片描述
本来是找w，去最小化C。即找到w后， C n C^n Cn就被决定了。
但是在黄色框中，定好w后， ε n \varepsilon^n εn并不能确定。所以条件要改成：Find w , ε 1 , ⋯   , ε n w,\varepsilon^1,\cdots,\varepsilon^n w,ε1,⋯,εn minimizing C

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
由于约束条件，即不等式太多，可能会令w找不到，所以要放宽条件，不等式右边减去一个 ε \varepsilon ε ( ε ≥ 0 \varepsilon \ge0 ε≥0)。但 ε \varepsilon ε又不能太大，否则w取任何值都能满足不等式，约束条件就失去意义了。

在这里插入图片描述

在这里插入图片描述

七、Cutting Plane Algorithm for Structured SVM

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

下面以 object detection 为例：

在这里插入图片描述

在这里插入图片描述
这里相当于 y ˉ \bar y yˉ​是有个函数公式，给定w后，直接能算出来哪个y最大。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

八、Multi-class and binary SVM

在这里插入图片描述
这里y代表类别。y为哪个类别，就把 x ⃗ \vec x x 放在 ϕ ( x , y ) \phi(x,y) ϕ(x,y)对应的维度上。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
这里我们可以定义，只要类别不一样就定义为 Δ ( y ^ n , y ) = 1 \Delta (\widehat y^n,y)=1 Δ(y ​n,y)=1

九、Beyond Structured SVM

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

撸码侠
关注
专栏目录
李宏毅机器学习笔记
m0_69646701的博客
08-15 482
记录学习李宏毅机器学习的过程，方便知识点的梳理。
【ML】 李宏毅机器学习课件及代码.zip
04-02
无监督学习则是在没有标签的情况下，仅凭数据本身的特征发现其中隐藏的结构或模式，如聚类分析（将用户分组到不同的客户细分群体中）。半监督学习介于两者之间，它部分数据有标签，部分数据无标签。 机器学习算法...
李宏毅结构化学习 01
weixin_42830015的博客
09-11 419
李宏毅结构化学习 01
李宏毅机器学习——结构化学习(一)
日积月累，天道酬勤
03-12 2222
引言 本文主要介绍了什么是结构化学习(Structured Learning)，并简要介绍了下原理。最后对一些应用场景进行了一些说明。 结构化学习 到目前为止，我们考虑的问题它的输入和输出都只是向量。 实际上我们面对的问题可能比这更复杂，可能输入或输出是序列(sequence)，列表(list)、树(tree)或边框(bounding box)。 我们想要一个更强大的函数fff，它的输入是一种对...
李宏毅机器学习——结构化学习(二)
日积月累，天道酬勤
03-14 600
引言 在结构化学习(一)中，我们讲了结构化学习需要解决三个问题。本文就探讨如何解决这三个问题。 线性模型 我们先来想下，哪个问题最难？ 假如F(x,y)F(x,y)F(x,y)有某种特别的形式，并且我们知道它的形式，那第三个问题就很容易解了。 所以我们先来看下这个特别的形式是怎样的。 问题1 假设我们说这个形式必须是线性的。 给定一个x,yx,yx,y对，首先我们用一组特征来描述它们。上图中的...
李宏毅机器学习——结构化支持向量机
日积月累，天道酬勤
03-29 1474
引言 关于支持向量可以参考机器学习入门——支持向量机和李宏毅机器学习——支持向量机。 关于结构化学习的知识建议先阅读下李宏毅机器学习——结构化学习(二)。 本文主要介绍结构化支持向量机的理论知识。 文章目录引言 ...
2023春季李宏毅机器学习笔记 02 ：机器学习基本概念
女王の专属领地
01-02 766
课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2023-spring.php Github：https://github.com/Fafa-DL/Lhy_Machine_Learning B站课程：https://space.bilibili.com/253734135/channel/collectiondetail?sid=2014800
李宏毅机器学习系列-结构化学习介绍
王伟王胖胖的博客
08-28 702
李宏毅机器学习系列-结构化学习介绍结构化学习是什么统一框架物体检测的例子文章总结的例子网页搜索的例子换个概率的角度理解这个框架框架遇到的问题与DNN的联系总结 结构化学习是什么 简单来说，就是找一个函数，输入一个X，输出一个Y，但是X,Y的结构是不一样的。比如结构可以是序列，列表，树，边界框等等。我们以前学的DNN，输入都是向量，输出也是向量： 来看看一些例子： 说语音识别和机器翻译：输入的是一...
李宏毅机器学习笔记：结构学习，HMM，CRF
夏之微风的博客
08-22 491
而在给定词性为动词V的条件下，该单词为单词a的概率为0.5，为单词c的概率为0.5。图片表示，开始start后面接的词为PN的概率是0.4，接动词V的概率是0.1，接定冠词D的概率是0.5。类似地，在词性结构已经是PN V D N的第一步的基础上，生成的句子为 John saw the saw的概率为0.2。词性s的单词为特定单词t的概率则为训练数据中所有单词为t且词性属于s的次数除以词性s出现的总次数。现在我们假设出现了该种场景，第一个单词为N，后一个单词为a，求后一个单词的词性预测。
李宏毅机器学习系列-结构化学习之结构化支持向量机
王伟王胖胖的博客
08-29 1157
李宏毅机器学习系列-结构化学习之结构化支持向量机回顾统一框架统一框架的问题结构化学习的应用统一框架的问题解决方案前方高能线性可分的情况和结构化感知机训练次数的数学推导如何进行快速训练线性不可分情况定义损失函数梯度下降法考虑误差加上正则化结构化SVM切平面算法最难满足的限制多分类和二分类的SVM多分类SVM二分类SVM更好的SVM总结 回顾 统一框架 上两篇介绍了什么事结构化学习，就是输入和输出的结...
李宏毅深度学习课件.rar
12-02
《李宏毅深度学习课程详解》 深度学习作为人工智能领域的重要分支，近年来在图像识别、自然语言处理、语音识别等领域取得了显著成就。李宏毅教授是国际知名的机器学习专家，他在深度学习领域的教学经验丰富，其课程...
李宏毅2020机器学习课程课后作业要求+代码.zip
03-14
3. 深度学习基础：包括神经网络结构、反向传播、卷积神经网络（CNN）和循环神经网络（RNN）等，以及如何在实际问题中应用这些模型。 4. 实战项目：可能会有图像分类、文本情感分析、推荐系统等实际案例，让学生将...
李宏毅深度学习学习笔记 Task0
08-15
2. 学习任务分类：机器学习的任务主要可以分为回归（regression）、分类（classification）和结构化学习（structured learning）。 - 回归任务中的目标函数的输出是标量（即单一数值），例如预测房价或温度等。 -...
李宏毅2020机器学习_课堂作业.zip
04-12
它专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径。 随着统计学的发展，统计学习在...
SRT3D: A Sparse Region-Based 3D Object Tracking Approach for the Real World
weixin_45834800的博客
09-13 976
基于区域的方法在基于模型的单目3D跟踪无纹理物体的复杂场景中变得越来越流行。然而，尽管它们能够实现最先进的结果，大多数方法的计算开销很大，需要大量资源来实时运行。在下文中，我们基于之前的工作，开发了SRT3D，这是一种稀疏的基于区域的3D物体跟踪方法，旨在弥合效率上的差距。我们的方法在所谓的对应线（这些线模型化了物体轮廓位置的概率）上稀疏地考虑图像信息。由此，我们改进了当前的技术，并引入了考虑定义的全局和局部不确定性的平滑阶跃函数。对于所得到的概率公式，提供了详尽的分析。
【AI大模型】Kimi API大模型接口实现
最新发布
qq_25888559的博客
09-15 810
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1097
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
opencv学习：calcHist 函数绘制图像直方图及代码实现
mohanyelong的博客
09-13 1456
opencv学习：calcHist 函数绘制图像直方图及代码实现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值