[笔记] 李宏毅2021春机器学习课程（七）自监督式学习

最新推荐文章于 2024-09-16 21:06:28 发布
最新推荐文章于 2024-09-16 21:06:28 发布
阅读量629 收藏
点赞数
分类专栏： 课程笔记 文章标签： 机器学习 神经网络 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43903148/article/details/121387768
版权

self-supervised Learning
芝麻街：

在这里插入图片描述
340 millon的参数，模型巨大

自监督学习

vs 监督学习

没有标注的资料 一部分作为输入，一部分作为label

没有用到标注的资料

19年提出的

在这里插入图片描述

在这里插入图片描述
相当于分类问题，从所有中文字中选出湾

做填空题
（像胚胎干细胞）
下游应用：
著名任务集：
在这里插入图片描述
应用1：输入句子，输出类别

BERT通过pre-train初始化，在进行fine-tune，效果比随机初始化好

学填空题的阶段 是un-supervised
应用在下游任务时，需要少料有标注的资料
属于semi-supervised

应用2： 等长句子 词性标注
在这里插入图片描述
应用3：立场分析
在这里插入图片描述
cls：类别，输出类别的任务只输出class，词性标注，输出除cls之外每个词的输出

应用4：问答系统（答案一定出现在文章里）

在这里插入图片描述

在这里插入图片描述

不爱白日梦
关注
专栏目录
李宏毅机器学习课程12~~~半监督学习
jiandanjinxin的专栏
09-13 3979
Semi-supervised LearningThe distribution of the unlabeled data tell us something. Usually with some assumptions.Supervised Generative Model对比学习见 李宏毅机器学习课程４~~~分类：概率生成模型EM算法思路来最大化似然函数。Self-training Self
李宏毅《机器学习》笔记：12.半监督学习
羊老羊
10-22 570
【参考文章】 笔记：https://blog.csdn.net/oldmao_2001/article/details/91285039 生成模式：https://blog.csdn.net/wistonty11/article/details/120365719 EM算法：https://zhuanlan.zhihu.com/p/40991784 文章目录1. 关于半监督学习1.1 定义1.2 分类1.3 半监督学习原因2. 半监督生成式模型（Semi-Supervised Generative Mod
【机器学习】李宏毅——自监督式学习
FavoriteStar的博客
09-18 1726
本文介绍了近几年比较火热的自监督式学习，并介绍了其中最具有代表性的BERT算法和GPT算法，其中对BERT算法进行了详细叙述。
李宏毅深度学习自监督式学习
wkywcd的博客
09-03 324
目录一、Self-supervised Learning1、BERT模型三级标题四级标题五级标题六级标题 一、Self-supervised Learning 在没有标注的资料里面，将其分成输入部分和有label的部分 1、BERT模型 输入一排向量输出一排向量，输入多长输出多长（一般用于自然语言处理） 输入的文字随机遮盖； 三级标题 四级标题 五级标题 六级标题 ...
自监督学习笔记——李宏毅老师《自监督学习》笔记
爱学习的大叔的博客
08-31 394
自监督学习 在没有label的情况下，自己做supervised learning。 将无label数据分成x’和x’’，然后将x’放入model进行学习，得到y，这个y要越接近x’'越好。 我们拿BERT来举例。 我们将台湾大学中的“湾”字涂抹掉，可以选择两种替换方式，MASK（完全抹掉）或者Random（随机替换一个汉子）。然后将Sequence输入，就会对应另外的Sequence输出。 盖住的汉子依然会有一个输出Vector，我们对其做一个linear transform和softmax，得到一个
【李宏毅2021机器学习深度学习】7-1和7-2 自监督式学习（Self-supervised Learning）
py今天刷题了吗
12-23 1104
文章目录1——芝麻街与进击的巨人2——BERT简介Self-supervised LearningMasking InputNext Sentence PredictionPre-train，Fine-tune，微调这就可以用在下游任务中（Downstream Tasks）测试BERT的能力（GLUE）How to use BERT（训练BERT是self-supervised，下游任务需要有少量label，合起来也可称为semi-supervised（自监督，有少量标注资料和大量未标注的资料））Case1
【学习笔记】李宏毅2021春机器学习课程第6.1节：生成式对抗网络 GAN（一）
Harryline的博客
07-23 945
文章目录1 能够作为生成器的神经网络 GAN2 动漫人物头像生成3 判别器（Discriminator）4 从自然选择看GAN的基本思想5 GAN 的具体实现过程步骤一： 固定 generator G 的参数，只更新discriminator D步骤二： 固定 discriminator D 的参数，只更新generator G6 动漫头像生成的具体实验结果 1 能够作为生成器的神经网络 GAN 生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型
【学习笔记】李宏毅2021春机器学习课程第4.1节：自注意力机制（一）
Harryline的博客
07-18 372
文章目录1 问题引入：为什么需要自注意力机制1.1 更加复杂的输入1.2 更多可能的输出1.2.1 每一个向量都有一个对应的Label1.2.2 输入多个向量，只需要输出一个Label1.2.3 机器要自己决定应该输出多少个Label1.3 处理词性标注问题的困境2 自注意力机制（Self-Attention）3 Self-Attention的具体运作过程 1 问题引入：为什么需要自注意力机制 在探讨了CNN的架构以后，我们要探讨的另一个常见的Network架构，叫做Self-Attention，至于Sel
【学习笔记】李宏毅2021春机器学习课程第7.1节：自监督学习（一）
Harryline的博客
08-01 660
文章目录1 什么是自监督学习2 训练 BERT 的方法一：Masking Input3 训练 BERT 的方法二：Next Sentence Prediction4 BERT 的应用案例解析4.1 情感分析4.2 词性标记4.3 自然语言推断4.4 基于信息抽取的问答5 BERT 的训练并不容易6 BERT 胚胎学 1 什么是自监督学习 首先我们来回忆一下监督学习，当我们做监督学习时，我们只有一个模型，这个模型的输入是x，输出是y。假设我们做情感分析，那就是让机器阅读一篇文章，而机器需要对这篇文章进行
李宏毅老师2021深度学习课程笔记.pdf
10-08
李宏毅老师的2021深度学习课程笔记中提到了几个关键知识点，涉及了深度学习训练技巧以及理论基础。 首先，课程提到了模型泛化能力的重要性，尤其是在模型的测试集划分上。这里提到了两种测试集的划分：public ...
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
李宏毅机器学习笔记第15周_自监督学习（Self-supervised Learning）
peaunt1的博客
07-21 757
Self-supervised Learning
一起对话式学习-机器学习02——机器学习方法三要素
weixin_73074505的博客
09-16 721
机器学习方法=模型+策略+算法 可以理解为：机器学习模型在一定优化策略下使用相应求解算法来达到最优化目标。
通过解预测和机器学习促进蚁群优化
最新发布
太极生两鱼
09-16 564
ML - ACO 算法的第一阶段，使用一组已知最优解的小定向越野问题实例训练一个 ML 模型。具体来说，使用分类模型根据问题特定的特征和统计度量来判断一条边是否属于最优路线。然后，训练后的模型用于预测测试问题实例中图中一条边属于最优路线的 “概率”。在第二阶段，我们将 ML 模型预测的概率值纳入 ACO 算法中，即使用概率值作为启发式权重或用于初始化信息素矩阵。这样做的目的是使 ACO 的采样偏向于那些预测更有可能属于最优路线的边，从而有望提高 ACO 找到高质量路线的效率。
机器学习-梯度下降实验一
yangfreeyyds的博客
09-16 145
【代码】机器学习-梯度下降实验一。
基于机器学习的乳腺癌肿瘤智能分析预测系统
Python极客之家
09-16 784
本系统致力于通过分析肿瘤的各种特征，如半径、纹理、形状等，利用Matplotlib、Seaborn 等工具进行可视化统计分析，并建立机器学习模型来预测肿瘤是否为恶性，测试集预测 AUC 达到 98.441%。系统的设计目的是为了帮助医疗专业人员更快地做出决策，并为患者提供更及时的治疗方案。
机器学习 vs 深度学习：深入浅出解析两者的区别
进击的码农
09-16 936
机器学习是人工智能的一个子领域，专注于开发能够从数据中自动学习和改进的算法。简而言之，机器学习让计算机通过经验（数据）来“学习”如何完成任务，而无需明确的编程指令。深度学习是机器学习的一个子领域，基于人工神经网络（Artificial Neural Networks, ANN），特别是多层神经网络（即“深”神经网络）。深度学习通过模拟人脑的神经元连接，能够自动提取数据中的高级特征，处理复杂的任务。
机器学习2--matplotlib绘图包
qq_54641174的博客
09-12 491
matplotlib画图
李宏毅机器学习课程笔记：从深度学习到卷积神经网络
"李宏毅的机器学习课程笔记涵盖了从基础的回归分析、梯度上升算法，到分类问题、反向传播、卷积神经网络（CNN）、半监督学习、无监督学习以及线性模型等多个核心主题。这些内容构成了深度学习和机器学习的基础理论与...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值