李宏毅机器学习——学习笔记（19） Structured Learning

最新推荐文章于 2021-01-29 22:29:34 发布
最新推荐文章于 2021-01-29 22:29:34 发布
阅读量4.6k 收藏 17
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37757740/article/details/89215186
版权

Structured Learning

结构学习指的是输入和输出都是具有结构化的对象（数列、列表、树、边界框等）。

在这里插入图片描述
结构化学习的例子：
在这里插入图片描述
统一框架：训练过程，将输入X和输出Y进行匹配，判断两个对象之间的匹配程度。测试过程中，给定输入X，穷举所有的Y找到与X最为匹配的函数Y。
在这里插入图片描述
对匹配函数可以解释为：输入X和输出Y同时出现的概率

在这里插入图片描述
三个问题：
1.F(X,Y)匹配函数的形式
2.如何穷举所有的Y
3.如何进行训练
在这里插入图片描述
DNN和Structure Learning具有相似性，deep learning 可以做是structure learning的特殊情况
在这里插入图片描述

Sturctured Perceptron：将所有（x，y）的匹配值映射到一条线上，使得真实的（x，y）比其他（x，y’）的值都要大。
在这里插入图片描述
上面这个算法的迭代收敛次数可以证明是有限的

在这里插入图片描述

Structured SVM转换上述等式在这里插入图片描述

将问题转换以后，得到与SVM相似的公式在这里插入图片描述

只需要找到可行域，即可
在这里插入图片描述
只需要少量的working set就可以确定可行域
在这里插入图片描述
Cutting Plane Algorithm的算法流程
在这里插入图片描述

更新working set的方式：寻找solution不满足constraint最严重的constraint ，只有当constraint够严重的时候，才加入working set中在这里插入图片描述
如何确定最严重的违反约束条件呢？
在这里插入图片描述在这里插入图片描述

如何用Structured SVM解决多分类问题在这里插入图片描述

训练过程
在这里插入图片描述

DNN和SVM同时进行训练，进行参数调整

在这里插入图片描述

青芒·1
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
结构化学习（Structured Learning）
MapleStory的博客
12-19 1万+
本博客是针对李宏毅教授在youtube上上传的Machine Learning课程视频的学习笔记。课程链接引入 线性模型 结构化SVM 序列贴标签 引入我们之前学习到的学习模型的输入与输出一直以来都是向量（vector），但是在实际问题中，我们的输入输出可能是别的结构。比如，我们可能会需要输入输出是序列（sequence）、列表（List）或者树（Tree）等等。例子： 结构学习的统一框架训练1.找
李宏毅机器学习课程－Structured Learning
jiandanjinxin的专栏
12-13 1140
Simple structured learning framework for python pystruct-github Slides for explaining structured prediction and PyStruct -github 一、Structured Learning-Unifed Framework 之前的input and output
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
机器学习-60-Structured Learning-01-Introduction(结构化学习-介绍)
迷雾总会解
01-29 923
本文是结构化学习的开端，简单介绍一下结构化学习的概念以及要解决的三个问题！
[李宏毅-机器学习]结构化学习 structured learning
炼丹师
03-01 614
structured SVM
Structured Learning和Structured SVM的学习（上）
dym123_dym的专栏
04-14 1069
http://bubblexc.com/y2011/503/ 以前就听说过Structured Learning，但只知道其大体的概念。听师兄说现在用的挺多的，于是前一段时间断断续续的看了有关这方面的一些资料，在此总结一下。 在利用机器学习方法建模时，我们往往是寻找一个映射函数 f：X -> Y，将输入X 映射为输出Y。输入X的形式是多种多样的，但在“常规”的机器学习方法中，输出Y是一个n
25.Structured Learning-introduction
xjtuse123的博客
06-09 208
1.结构化学习（Structured Learning） 在之前的学习中，输入和输出都是向量vector。然而在现实生活中，有时我们希望输入输出是带有结构的，比如sequence, list, tree, bounding box……因此我们需要一个更加强大的函数。 2.应用 Structured learning应用十分广泛 3.通用框架（Un...
视频学习笔记——李宏毅机器学习——P1，2
09-12
【机器学习介绍】 机器学习是计算机科学的一个分支，它的核心目标是使计算机系统具备自我学习的能力，从而在没有明确编程的情况下改善其性能。这源于人类的学习潜能，只不过在这里，我们试图通过算法和统计模型来...
李宏毅机器学习学习笔记
最新发布
08-05
李宏毅机器学习学习笔记 本资源主要介绍了 Adaptive Learning Rate 的基本思想和方法，以及相关的算法和策略，如 Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up 等。 Adaptive Learning Rate 的主要思想是...
李宏毅机器学习全套资料
08-31
《李宏毅机器学习全套资料》是一份全面深入的机器学习教育资源，主要涵盖了教学演示文稿、作业解决方案以及详尽的课程内容。这份资源对于想要深入理解和掌握机器学习这一领域的学习者来说，无疑是一份宝贵的参考资料...
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
深度学习笔记——理论与推导之Structured Learning【Structured Linear Model】（六）
Dream come ture~
08-10 3921
Structured Learning Sturctured Learning 引入 定义： 输入X，输出Y 都是有结构的对象（objects with structures） Object：例如sequence，list，tree，bounding box等 函数：
深度学习笔记——理论与推导之Structured Learning【Structured SVM】（七）
Dream come ture~
08-10 3693
Separable case 1. 定义： 2. 用来计算weight的Structured Perceptron演算法： 如果我们能找到一个满足上图的feature function，那么我们就可以用Structured Perceptron演算法找到我们所要的weight（这些在深度学习笔记——理论与推导之Structured Learning【Structured Lin
Struct learning diary5
风茶
04-08 117
#include <stdio.h> #include <stdlib.h> #define LEN sizeof(struct student) struct student { long num; float score; struct student *next; }; int n; struct student *creat() { ...
【李宏毅老师机器学习课程笔记】第一课：What is Machine Learning, Deep Learning and Structured Learning?
forever9712的博客
07-04 2264
机器学习可近似描述为寻找一个特定函数的过程。
图像分割"LIP: Self-supervised Structure-sensitive Learning and A New Benchmark for Human Parsing"
cv_family_z的博客
07-28 4061
数据集：http://hcp.sysu.edu.cn/lip code: https://github.com/Engineering-Course/LIP_SSL. 做人体部件分割，构建了一个新的数据库“LIP”，包含19个语义标记。在训练中融入结构信息，提升分割效果。 人体分割具体应用：行人再认证，行为分析等。 目前三个人体部件数据库ATR,Pascal-Person-Part和LIP复
【论文笔记】Dynamic Hypergraph Structure Learning（动态超球体结构学习）
nymph_h的博客
08-25 1239
主要内容翻译： 最近这些年，超球体模型已经在许多例子的相关公式中展示了它的优越性，并且广泛应用于分类，回归和其他任务中。在所有这些任务中，超球体学习的表现高度依赖于生成的超球体结构。一个优秀的超球体结构可以更好地表达数据之间的关联，而且反过来也是一样。虽然超球体最近吸引到了不少关注，大多数现有的超球体结构依然依赖静态超球体结构，而且几乎没有在学习过程中优化超球体结构这一方向的努力。 为了解决这个问...
深度学习笔记——理论与推导之Structured Learning【Sequence Labeling Problem】（八）
Dream come ture~
08-10 3380
Sequence Labeling（序列标注问题），可以用RNN解决，也可以用Structured Learning（two steps，three problems）解决 常见问题： - POS tagging（标记句子中每个词的词性）： 如：John saw the saw–>PN V D N Hidden Markov Model(HMM) 问题引入 生成一个
深度学习笔记——理论与推导之Structured Learning【Markov Random Field】（十）
Dream come ture~
08-10 2173
Graphical Model & Gibbs Sampling(Sturctured Learning) Graphical Model是Structured Learning中的一种。 Structured Learning复习 Structured Learning中两个存在困扰的地方： 1. 如何设计feature vector（即Φ(x,y)）： 2. Inference
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值