详解Bert

最新推荐文章于 2024-06-04 15:05:45 发布
最新推荐文章于 2024-06-04 15:05:45 发布
阅读量405 收藏 1
点赞数
分类专栏： 机器学习+opencv 文章标签： bert 机器学习 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1105425455/article/details/129341159
版权

1.输入部分

Input = token emb + segment emb + position emb
在这里插入图片描述

Embedding:将离散变量转变为连续向量
表示类别变量的理想解决方案则是我们是否可以通过较少的维度表示出每个类别，并且还可以一定的表现出不同类别变量之间的关系，这也就是 embedding 出现的目的。
CLS向量不能代表整个句子的语义信息

2.预训练 MLM和NSP

MLM

  • AR 自回归模型;只能考虑单侧的信息,例如GPT
  • AE:自编码模型;从损坏的输入数据中构建原始数据,可以使用上下文的信息,BERT就是使用AE.(完形填空)
    在这里插入图片描述

MASK的概率:

在这里插入图片描述

NSP

NSP样本:

  • 从训练语料库中取出两个连续的段落作为正样本
  • 从不同的文档中随机创建一对段落作为负样本

3.微调Bert

在这里插入图片描述

亚伯拉罕·黄肯
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
BERT
04-01
BERT
人工智能bert模型详解
03-05
人工智能bert模型详解
BERT的[CLS]有什么用
热门推荐
qq_42189083的博客
10-19 3万+
[CLS]就是classification的意思，可以理解为用于下游的分类任务。 主要用于以下两种任务： 单文本分类任务：对于文本分类任务，BERT模型在文本前插入一个[CLS]符号，并将该符号对应的输出向量作为整篇文本的语义表示，用于文本分类，如下图所示。可以理解为：与文本中已有的其它字/词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个字/词的语义信息。 语句对分类任务：该任...
Bert 中[CLS]的意义
xiaomi5410的博客
05-15 1343
BERT 【CLS】意义
MySQL笔记
a1105425455的博客
05-06 307
第三章 一.SQL的分类 DDL：数据定义语言。CREATE \ ALTER \ DROP DML：数据操作语言。INSERT \ DELETE \ UPDATE DCL：数据控制语言。COMMIT \ RPLLBACK \ SAVEPOINT 因为查询语句使用的非常的频繁，所以很多人把查询语句单拎出来一类：DQL（数据查询语言）。 还有单独将 COMMIT 、 ROLLBACK 取出来称为TCL （Transaction Control Language，事务控制语 言）。 二.SQL规范 字符
爬虫个人笔记
a1105425455的博客
08-02 250
概念 robots.txt 君子协议：标明哪些可以爬取哪些不可以 eg: www.taobao.com / robots.txt http协议 概念：服务器与客户端进行数据交互的一种形式。 常用请求头信息： User - Agent：请求载体的身份标识（ip地址等等） UA检测：门户网站的服务器会检测对应请求的载体身份标识 如果是浏览器打开说明正常请求 不正常（爬虫），服务器很有可能拒绝该次请求 UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器 Connection：请求完毕后断开连接还是保持连接
Java笔记
a1105425455的博客
04-03 3646
基本概念： 1.包属于标识符 命名规则，小写每“.”一次就代表一次文件目录同一个包下不能命名同名的接口，类 2.MVC设计模式 模型层 model主要处理数据 - 数据对象封装 model.bean/domain -数据库操作类 model.dao -数据库 model.db 控制层 controller 处理业务逻辑 -应用界面相关 controller.activity -存放fragment controller.fragment -显示列表的适配器 controller.adapter -服务相关的
详解BERT
TNNAA的博客
08-07 310
理解BERT 本文是看了大神的博客,深有感悟,因此在此过一遍加深印象,在本文的最后有原文链接,希望对大家有所帮助. 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/jiaowoshouzi/article/details/89073944 1.NLP发展史 2001 - Neural language models（神经语言模型） 2008 - Multi-task learning（多任务学习
BERT详解
fzz97_的博客
02-12 5019
主要介绍了什么是Bert模型，它的优点，输入输出和预训练方法。
Bert详解.pptx
06-15
本课件是对论文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 的导读与NLP领域经典预训练模型 Bert 的详解，通过介绍NLP领域对通用语言模型的需求，引入 Bert 模型，并对其...
BERT原理详解
06-18
本课程详细介绍了BERT网络中的Attention机制、transformer网络结构、训练任务以及相关的算法原理。
基于BERT的推荐系统模型开发详解.pdf
08-08
- 模型构建:Encoder用BERT获取语义特征,输出层点积或全连接。 - 模型训练:添加注意力掩码,预训练+fine-tune,混合精度。 - Online服务:用户特征提取,BERT推理,部署API。 - 效果评估:NDCG, Hit Rate, A/B测试,用户...
机器学习笔记——欠拟合、过拟合
star_and_sun的博客
05-31 271
欠拟合就是模型过度拟合到观测数据中不具有普遍的部分，以至于在对未观测的数据标签进行预测时出现较大的偏差，可能出现在模型的复杂度大于数据的复杂度。1.一般出现在模型的复杂度小于数据本身的复杂度导致的，这个可能就是模型对数据的分布和实际数据分布之间的差异，这个就可能需要更换模型。其实我们在监督学习中，标签y和变量x直接的关系就是所谓的模式记作f（x），机器学习的任务就是给出数据，找到这种模式。过拟合的本质是由于模型的参数过于复杂，所以需要引入某种限制，防止过拟合的方向发展，这样的约束称为正则化。
DL/ML/RL/TL/FL机器学习框架总结
Admans的专栏
05-28 992
基础软件非常重要；掌握PyTorch是基础；大厂都是搞平台搞生态的。
机器学习ML.NET
A_nanda的博客
06-04 825
是用于 .NET 的跨平台开源机器学习 （ML） 框架。ML.NET 允许开发人员在其 .NET 应用程序中轻松构建、训练、部署和使用自定义模型，而无需开发机器学习模型的专业知识或使用 Python 或 R 等其他编程语言的经验。该框架提供从文件和数据库加载数据，支持数据转换，并包含许多 ML 算法。借助 ML.NET，您可以针对（如分类、预测和异常检测）训练模型。您还可以在 ML.NET 中使用 TensorFlow 和 ONNX 模型，这使得框架更具可扩展性，并扩展了支持的方案数量。
《机器学习特征提取》
最新发布
一点人工一点智能的博客
06-04 1013
这是一本面向专业人士和研究生的实用指南，适用于那些正开始从事信息提取职业生涯的人。它以易于理解的方式解释了空间特征提取，并包括了关于如何收集空间特征的高度值、如何在地图上下文中开发3D模型等真实案例研究。
吴恩达2022机器学习专项课程C2W2：实验多类分类
AIGC_xuexishe的博客
05-31 1133
再次强调，背景颜色的强度表示最高值。左图中，橙色点和紫色点（类别 2 和 3）位于右侧阴影深的区域，表示这些区域里的样本x0x1激活值较高，模型预测这些样本属于类别 2 和 3 的概率较高。右图中，紫色点和绿色点（类别 3 和 1）位于下侧阴影深的区域，表示这些区域里的样本x0和x1和激活值较高，模型预测这些样本属于类别3和1的概率较高。总结一下：第一层的两个神经元，通过不同的参数，绘制出不同的决策边界，然后通过ReLU，预测出了不同的分类。输出具体的类别，前10个数据集的真实标签y，以及训练样本的形状。
使用机器学习做医学图像分类的开源项目集锦
承接app开发，旅游电商网站设计
05-31 386
适配3D U-Net模型处理STIR MRI序列。- 在STIR MRI序列上训练模型并优化配置。- 调整训练管道以适应STIR序列和标签。- 定制数据预处理管道以适应MRI图像。- 实现预处理步骤以处理3D数据和增强。- PyTorch实现的U-Net。- 处理3D医学成像格式的工具。- 实现医学图像的增强策略。- 预定义的网络和损失函数。- 广泛的预处理和增强策略。- 基本的U-Net架构。- 分割结果的可视化工具。- 3D U-Net架构。- 广泛的数据处理工具。- 训练和评估示例脚本。
BERT原理和结构详解
02-22
BERT（Bidirectional Encoder Representations from Transformers）是一种基于双向Transformers的语言模型，是Google AI研究小组于2018年10月发布的一种预训练模型。BERT的结构基于多层双向循环神经网络（RNN），其中词表示是从双向Transformer中学习到的，它可以同时从前向和后向上学习上下文语义。它还使用了masking和深度学习技术，以改进文本理解和翻译。BERT的原理是，它检测出句子之间的关系，并利用这些关系来解码句子中隐藏的语义。它可以使用深度学习技术来检测句子之间的关联，从而提高自然语言处理（NLP）模型的准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值