Bert笔记

最新推荐文章于 2024-06-10 21:30:01 发布
最新推荐文章于 2024-06-10 21:30:01 发布
阅读量4.5k 收藏 3
点赞数 2
分类专栏： NLP自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LucasXu01/article/details/114190531
版权

Bert成为自然语言处理的通用解决方案

序列网络模型：seq2seq网络  核心一般用rnn

传统的不足：

RNN  每一项需要前一项的数据 无法加速并行训练

Transformer可以

transformer 取代 rnn了

传统词向量不变，不会因为上下文不同而改变，这是不足，因为事实上，同一个词在不同语境中含义其实不尽相同、

self attention: 一个词在编码时不仅仅考虑该词，而是会把上下文的信息也考虑进去进行编码

self attention如何计算： 三个需要训练的矩阵：Q:要去查询的 K:等着被查的 V：实际的特征信息

特征分配和sofamax机制 Multi-head机制 经过全连接层后 ·如此堆叠多层

BERT阅读笔记
black_shuang的博客
07-14 926
一、前言 本阅读笔记是在阅读BERT模型过程中觉得需要记录的笔记,也是自己的理解记录。如有错误，欢迎指出纠正讨论，谢谢！ 目前该篇仅记录BERT文章的前三章，也就是模型相关介绍，后面的实验以及讨论暂未看完,后期继续更新！ 博客中引用的图片全部来自于BERT原文:https://arxiv.org/pdf/1810.04805.pdf 摘要部分 摘要部分主要概括性的介绍BERT的主体: ...
bert笔记
zh515858237的专栏
05-18 2304
BERT是Bidirectional Encoder Representations from Transformers的缩写。bert其实就是由多层的Transformer Encoder堆叠成的，所谓的Bidirectional其实也就是Transformer中的self-attention机制。或者也可以说是Self-Attention Layer和Layer Normalization的堆叠而成。
BERT笔记
bolite的博客
08-22 151
笔记
Pytorch BERT笔记
rush_mj的博客
02-14 395
关闭 subword 分词。
bert 笔记
qq_35674193的博客
07-01 306
一、embedding1、pytorch——embedding函数生成的embedding2、pos embedding【1,2,3,4,。。。。。32】 这个列表生成的embedding3、type embedding 有两句话时来区分的。 最终是1+2+3三个向量相加得最终embedding二、mul-head q、k、v，生成bert-embedding,一共12个head1、q k两两结合，使用softmax生成注意力权重，然后和v结合生成b，b为最终值2、self attention完成后
BERT学习笔记
DaGongJiGuoMaLu09的博客
02-23 1330
与之前模型的区别：GPT考虑的是一个单向预测，用左边的词预测右边的词；但BERT则是同时利用左边和右边的词，来预测中间的词ELMO用的BiLSTM，但是它使用的是RNN结构，在应用到下游任务时它需要对模型结构做调整；但BERT使用的是transformer，在下游任务中只需要改上层的一小部分就可以了基本效果：11个任务上取得更高的精度GLUE提升7.7%，至80.5%；MultiL1提升4.6%，至86.7%；SQuAD v1.1提升1.5，至93.2；SQuAD v2提升5.1，至83.1。
李宏毅《机器学习》Bert笔记
m0_46381421的博客
02-24 519
Bert学习笔记和工作原理解释
Bert学习笔记
西梅的博客
05-08 946
Bert学习笔记一、组成结构二、Bert输入表示三、做预训练：MLM+NSPMLM / Masked LM - 掩码语言模型NSP - 下一句预测（next sentence prediction）四、如何提升Bert下游任务效果 参考文章【BERT原理详细介绍：https://blog.csdn.net/weixin_46425692/article/details/108927400】 一、组成结构 Transformer是一个encoder-decoder的结构，由6层编码器和6层解码器构成。其中en
从 Transformer 到 Bert 学习笔记
WaitMrAnt的博客
06-10 1302
本文介绍了详细介绍了Transformer和Bert的模型结构和特点，从输入结构到训练再到输出，并且比对了两者的结构和差异。
李宏毅 bert笔记
最新发布
08-23
关于BERT笔记，通常会包括以下几个部分： 1. **基础知识**：介绍BERT的基本原理、模型架构以及预训练和微调的过程。 2. **技术细节**：可能会探讨自注意力机制、嵌入层、掩码预测任务等核心组件。 3. **实践应用**：...
BERT学习笔记一：运行BERT模型代码前-附件资源
03-02
BERT学习笔记一：运行BERT模型代码前-附件资源
在colab跑bert笔记和kaggle跑数据方法
yueru2wan的博客
05-01 473
1.按requestment安装依赖 2.配置cuda版本 1.查看现在cuda版本 !nvcc --version 查看colab加载的Linux系统的版本 2.卸载当前Colab的CUDA #Uninstall the current CUDA version !apt-get --purge remove cuda nvidia* libnvidia-* !dpkg -l | grep cuda- | awk '{print $2}' | xargs -n1 dpkg --pu
李沐69_BERT训练集——自学笔记
Rrrrrr900的博客
04-26 1193
mlm的前向推断返回encoded_X的所有掩蔽位置mlm_positions处的预测结果mlm_Y_hat。我们将tokens定义为长度为8的2个输入序列，其中每个词元是词表的索引。下面的MaskLM类来预测BERT预训练的掩蔽语言模型任务中的掩蔽标记。get_tokens_and_segments将一个句子或两个句子作为输入，然后返回BERT输入序列的标记及其相应的片段索引。通过掩码下的预测词元mlm_Y的真实标签mlm_Y_hat，我们可以计算在BERT预训练中的遮蔽语言模型任务的交叉熵损失。
多模态bert-基于双流的bert 笔记 ViLBert、LXMERT、IMAGEBERT
机器学习专栏
04-10 4537
ViLBert paper: ViLBERT: Pretraining Task-Agnostic Visiolinguistic Representations for Vision-and-Language Tasks 基于双流的 ViLBERT，在一开始并未直接对语言信息和图片信息进行融合，而是先各自经过 Transformer 的编码器进行编码。分流设计是基于这样一个假设，...
写给小白看的马尔科夫链（Markov Chain）最佳入门教程
热门推荐
许进进的博客
07-29 1万+
1 什么叫马尔科夫链？ 讲马尔可夫链不得不提到随机过程，它本身就是随机过程课本中的重要内容，犹如牛顿定律在力学中的地位。那何为随机过程呢？ 我们知道，人类认知世界是从运动开始的，从宏观的天体运动到微观的分子运动，它都是一个“东西”随世界变化的过程，牛顿的出现，很好地体系化地解释了我们所熟悉的大部分运动，并赋能人类能够对一些运动进行准确计算并预测运动。但是世界上仍存在大量的非确定因素的“运动”过程，之所以给给运动加引号是因为这是个概性描述，比如经典掷色子，每一次掷色子都视为一次事物的变化，归为“运动”，即随时
神经网络实践一 · 利用PyTorch进行气温预测
许进进的博客
08-12 1万+
利用NN进行简单的气温预测，数据集已上传。数据集主要字段介绍： year,moth,day,week：表示的具体的时间，因为为字符格式需要进行独热编码处理 temp_2：前天的最高温度值 temp_1：昨天的最高温度值 average：历史中每年这一天的平均最高温度 actual：标签值，表示当天的真实最高温度 friend：用不到，暂不用管 原始数据维度: (348, 9), 数据: year month day week temp_2 temp_1 aver...
NLP概述思维导图
许进进的博客
11-30 6105
Conda基本大全
许进进的博客
11-14 5451
# 查看conda版本 conda --version # 查看conda本地已有的虚拟环境 conda env list #conda 包管理的增删查该 conda list conda searchpackage_name # 查询包 conda install package_name # 安装此包 conda install package_name=1.5.0 # 安装此包指...
隐马尔科夫模型HMM基础必知
许进进的博客
08-03 5425
    学习隐马尔科夫模型建议先阅读《写给小白看的马尔科夫链（Markov Chain）最佳入门教程》，我们知道隐马尔科夫模型中的状态序列其实就是马尔科夫链。     隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型，它在语言识别，自然语言处理，模式识别等领域应用广泛。随着目前深度学习的崛起，尤其是RNN，LSTM等神经网络序列模型的火热，HMM的地位有所下降。但是作为一个经典的模型，学习HMM的模型和对应算法，对我们解决问题建模的能力提高以及算法思路的拓展还
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

许进进

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值