《深度学习》学习笔记（六）

最新推荐文章于 2023-02-27 13:01:55 发布
最新推荐文章于 2023-02-27 13:01:55 发布
阅读量758 收藏 2
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43135165/article/details/124288068
版权

本篇博客主要是讲自监督学习的（Self-Supervised Learning）

文章目录

引入

下面是一些自监督学习的models
在这里插入图片描述
BERT模型340M parameters
ELMO模型94M parameters
GPT-2模型1542M parameters
GPT-3模型175M parameters
Megatron模型8B parameters
Transformer模型1.6T parameters
…

自监督定义

在这里插入图片描述

BERT

BERT输入一行向量，再输出一行向量
在这里插入图片描述
在这里插入图片描述
BERT要学习mask的地方与“湾”是同一类别的
BERT+Linear一起训练
在这里插入图片描述
但是Next Sentence Prediction好像没啥用？
在这里插入图片描述
BERT还可以做很多下游任务，后面会介绍

GLUE

在这里插入图片描述

为了让NLU（自然语言理解）任务发挥最大的作用，来自纽约大学、华盛顿大学等机构创建了一个多任务的自然语言理解基准和分析平台，也就是GLUE（General Language Understanding Evaluation）GLUE九项任务涉及到自然语言推断、文本蕴含、情感分析、语义相似等多个任务。像BERT、XLNet、RoBERTa、ERINE、T5等知名模型都会在此基准上进行测试。

在这里插入图片描述

Case

pre-train即训练学做填空题的BERT
在这里插入图片描述
BERT是semi-supervised的。因为在下游任务中，需要有标注的资料；但是做self-supervised的时候，是没有标注的。
在这里插入图片描述
在这里插入图片描述
case2跟case1不同的点在于，在pre-train的时候，已经初始化了一组参数。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他相关

在这里插入图片描述
在这里插入图片描述

Why does BERT work

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

GPT series

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

其他

self-supervised不仅可以用在文本上，还可以用在图像和语音上。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
self-supervised
在这里插入图片描述

白炎灵
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习入门课程笔记案例
03-18
深度学习是人工智能领域的一个重要分支，它通过模拟人脑神经网络的工作原理，构建多层的非线性模型，以解决复杂的数据分析和模式识别问题。本压缩包“2024dl-master”很可能是某个深度学习入门课程的资料集，包含了...
BERT（李宏毅课程）
qq_40438523的博客
11-04 362
BERT自监督学习Bert应用 自监督学习 不完全等于无监督学习，属于一种无监督学习。 隐藏输入 bert中含有一个transformer和encoder，然后通过mask或者random的方式替换某个字符，然后希望输出这个替换的字符，训练出对应的参数，形成一个自监督的过程。 语句预测 预测两个句子是否接在一起 Bert应用 在应用之前，先pre-train出一个bert出来，然后可以应用经过微调的bert于其他任务上。 输入为序列，输出为类别 bert上再加上一个linear层经过
BERT实战：实现多分类
rip -- shun
11-30 6225
前面以及介绍过bert的理论知识，以及它相应的实现方法，那么让我们通过实战加深对bert的了解。 我们将通过bert实现一个文本多分类任务，具体是kaggle上的一个真假新闻的任务。具体如下： 文件地址：https://www.kaggle.com/c/fake-news-pair-classification-challenge/data 模型形式：BERT + Linear Classifier参考链接：LeeMeng - 進擊的 BERT：NLP 界的巨人之力與遷移學習参考博客：Simple.
深度学习（二）BERT模型及其一系列衍生模型
青年有志
08-12 4855
BERT
【轩说AI】自监督学习 + BERT
m0_57089390的博客
02-27 561
监督学习的部分则作为网络的下游，将Bert的输出作为Linear层的输入，再输出得到分类结果class，与真实的词性label求loss，做参数优化。如图将[cls]+qestion+[sep]+document输入BERT，然后随机初始化两个和bert输出的vector同维度的vector，如图红色和蓝色的vector，然后做类似attention的Q*K的操作，将得到的一组和document同等长度的inner product值过softmax，红色向量求出s的值，蓝色向量求出e的值。
Bert模型实现
Minor0218的博客
07-30 1101
Bert模型实现，源码理解
deeplearning深度学习笔记
12-26
" Deeplearning深度学习笔记" 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助已有一定基础的计算机专业人士掌握深度学习技术。课程涵盖深度学习的基础知识，神经网络构建，卷积神经网络(CNN)、...
音频深度学习的听课笔记
04-17
《音频深度学习的听课笔记》主要涵盖了音频处理与深度学习技术的融合，是现代智能音频应用的核心。在当今数字化时代，音频数据的处理和分析变得越来越重要，深度学习以其强大的模式识别能力，为音频领域的研究提供了...
深度学习Cup-main笔记
最新发布
05-31
总的来说，这份深度学习笔记将引导我们逐步深入这个充满潜力的领域，从基础概念到高级应用，全方位地掌握深度学习的知识和技术。无论是初学者还是有一定经验的学习者，都能从中获益匪浅，不断提升自己的技能水平。
BERT源码解读，详细写记录从零实现BERT模型
weixin_45169380的博客
04-28 4106
BERT代码(源码)从零解读【Pytorch-手把手教你从零实现一个BERT源码模型】_哔哩哔哩_bilibili 讲解视频如上，记录是为自己更好的学习的笔记和方便后面复习。 1、参数设置 max-pred一个句子中最大可以预测多少个token n-layer由多少个encoder进行堆叠，一般base有12个，large有24个 n_head多少个头 d_ff 前馈神经网络的维度 d_k,d_v 是Q,K维度的大小，两个必须维度一致 n_segment 是二分类任务中，区分多少不同句子 .
BERT简介
与或
08-27 5761
BERT，是 Bidirectional Encoder Representations（双向编码器表示）的缩写，它从单词的两边（左边和右边）来考虑上下文。以前所有的努力方向，都是一次只考虑单词的一边，要么是左边，要么是右边。这种双向性有助于模型更好地理解使用单词的上下文。此外，BERT 的设计目标是能够进行多任务学习，也就是说，它可以同时执行不同的自然语言处理任务。 BERT这个model实际上是一个transformer 的 Encoder transformer BERT一般用在NLP上，它的输入
学习笔记-Bert及其变体调参经验
weixin_44358484的博客
05-23 7009
Bert调参： 1、bert的微调可以将参数设置为： bach size ：设置为16或者32 learning rate（Adam）：5e-5、3e-5、2e-5（比较小的学习率） num of epochs：2，3，4 2、Bert的微调比较容易，可以设置验证集，进行一定范围的Grid Search 3、可以在Bert后面接一些层，比如CRF层、Linear层、BiLSTM层 4、为了确保后接层学习的好，可以对后接层设置额外的、较大的学习率 Bert变体 RoBERTa: RoBE
李宏毅 bert 讲解
missgrass的博客
01-28 1392
bert就是transformer的encoder 输入seq，输出seq 先决定盖哪几个，再决定怎么盖 然后输出 输出的就是一个向量，里面就是词典所有的单词的概率（是吗） 然后跟我那个真实值，最小化，（就是一个分类问题），训练的时候，bert里面的参数和我们那个liner的参数一起训练。 除了上述的mask之外，还会预测下一个句子 这个输出的yes或者or，意思就是我这两个句子是不是相接的，后来说这个方法其实没有什么用。 然后就是bert其实它的作用就是填空，但是他却可以使用在其他的任务上，这些
BERT模型
qq_40553788的博客
02-21 591
Bert简单实现bert模型 bert模型 “”" BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova https://arxiv.org/abs/1810.04805 “”" import numpy as np import pandas as pd import torch
Bert详解
悟以往之不谏，知来者之可追
02-23 1149
Bert简介 Bert:Pre-training of Deep Bidirectional Transformers for Language Understanding。可以看出，Bert=Encoder of Transformer。 论文中提到，标准的语言模型应该是无方向的，像OPENAIGPT使用了从左往右的结构，使得self-attention只能attention到前面的内容。此外，论文中Bert使用了两种训练方式：1. MLM（Masked Language Model）；2. next s
bert详解（一）----预训练源码
lcomecon的博客
09-17 3025
参考论文：Attention Is All You Need 参考论文：BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 源码地址：BERT-pytorch 介绍，源码主要完成了bert预训练的两个TASK Masked LM（Masked Language Model） 一个句子中每个词有15%的概率会被选中进行设置，设置的规则有三种： 80%的概率设置为[MASK]用于学习 10%的概率设
Bert在文本分类任务重如何进行 fine-tuning
weixin_40935425的博客
07-11 553
文本分类是个经典的NLP任务。随着预训练语言模型的大受欢迎，诸如Bert等预训练语言模型在文本分类任务上也有这十分出色的表现。本文会对Bert进行文本分类的训练问题做个简单的介绍。
BERT 的 PyTorch 实现（超详细）
热门推荐
mathor的博客
09-28 3万+
B站视频讲解 本文主要介绍一下如何使用 PyTorch 复现BERT。请先花上 10 分钟阅读我的这篇文章 BERT详解（附带ELMo、GPT介绍），再来看本文，方能达到醍醐灌顶，事半功倍的效果 准备数据集 这里我并没有用什么大型的数据集，而是手动输入了两个人的对话，主要是为了降低代码阅读难度，我希望读者能更关注模型实现的部分 ''' code by Tae Hwan Jung(Jeff Jung) @graykode, modify by wmathor Reference : https://g
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值