BERT 学习推荐资源（文章讲解+视频讲解+BERT模型运行指导）

最新推荐文章于 2023-06-27 15:02:55 发布
最新推荐文章于 2023-06-27 15:02:55 发布
阅读量1.7k 收藏 4
点赞数 1
文章标签： bert 音视频 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44532527/article/details/122950533
版权

前言

最近个人对NLP （自然语言处理）方向比较感兴趣，经同学推荐先学习了BERT模型，BERT模型是近几年来NLP领域最火的一个模型，算是NLP领域一个里程碑式的改变。谷歌公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。

Transformer学习

在学习BERT模型之前建议先学习一下transformer模型，这是BERT模型中所使用到的。

Transformer的本质上是一个Encoder-Decoder的结构，在transformer模型诞生之前，很多Encoder-Decoder 都是基于CNN和RNN的，而transformer模型是基于attention机制（ 附上关于Attention机制的介绍：一文看懂 Attention（本质原理+3大优点+5大类型） - 知乎 (zhihu.com)）

这篇文章简单说明了transformer的结构以及和CNN,RNN的一些差别：

简单介绍Transformer模型 - 知乎 (zhihu.com)

在Transformer的学习中，大力推荐的是李宏毅老师对transformer的讲解，其中包括对自注意机制的讲解，以及模型结构的具体讲解，非常通俗易懂，是我目前看到的最棒的对transformer模型讲解的视频了

视频链接：B站：搜索：BV1J441137V6 或者直接搜索：李宏毅transformer

​ 油管链接：Transformer - YouTube

对应的图文讲解版链接：Transformer模型详解（图解最完整版） - 知乎 (zhihu.com)

BERT学习

了解完transformer模型，接下来就要开始正题了：对BERT模型的学习

BERT论文和代码地址：

Refrence Code :https://github.com/google-research/bert

Paper : https://arxiv.org/abs/1810.04805

建议可以先看一些那种CSDN上对于BERT模型的一文介绍：

NLP必读：十分钟读懂谷歌BERT模型 - 知乎 (zhihu.com)

一文读懂BERT(原理篇)_sunhua93的博客-CSDN博客_bert （文章较长，将NLP发展史进行了梳理）

看了对BERT的简单介绍如果还有不太懂的，可以在B站搜索：BV1Ey4y1874y 这个up主的视频比较通俗易懂，他的主页里面也有对transformer的讲解，也可以多看一看

看了这些之后，可以就可以开始看BERT论文啦

看完论文可以尝试着运行一下Google发布的开源代码

本人也是做了一个关于BERT预训练模型运行的博客，欢迎各位大佬前来指正！

附上博客链接：谷歌经典bert模型从下载源码到运行成功_qq_44532527的博客-CSDN博客

结语

目前本人还是个小菜鸡，对于机器学习、NLP方向还只停留在表面的理解，若有地方写的不妥，还希望各位读者们指正！

17不想当码农
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
BERT4Rec：当NLP王者BERT进军推荐领域
Kaiyuan_sjtu的博客
04-02 2654
作者| 知乎博主@青枫拂岸整理|NewBeeNLPCIKM2019上，阿里发表了《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》[1]，继BST将Transformer之后，又一次将NLP领域中前沿技术迁移到了推荐领域。...
基于BERT模型的中文医学文献分类研究
06-23
探究BERT中文基础模型（BERT-Base-Chinese）和BERT中文医学预训练模型（BERT-Re-Pretraining-Med-Chi）在中文医学文献分类上的分类效果及差异原因。[方法] 本研究以34万篇中文医学文献摘要为医学文本预训练语料，分别以16,000和32,000条中文医学文献摘要为分类的训练样本，并以另外的3200条摘要作为测试样本，利用BERT的两个模型来进行中文医学文献分类研究，并以SVM方法作为对比基准。[结果] BERT的两种模型在分类效果上均优于SVM模型,两种模型的F1值均比SVM模型高出5%左右；BERT-Re-Pretraining-Med-Chi模型在两种样本量下F1值分别达到0.8390和0.8607,均为三者中最好的分类效果。[局限] 本研究仅对中图分类号R下的16个类别进行了分类研究，其余4个类别因数据量过少等原因而未纳入分类体系中。[结论] BERT-Re-Pretraining-Med-Chi方法能够显著提升医学文献的分类效果；基于BERT的深度学习方法在多类别大规模训练集下更能体现其分类的优越性。
深度学习（自然语言处理）Bert学习资料整理
忆_恒心的博客
10-03 671
Seq2Seq模型简介 注意力机制 在解码器器的每⼀一时间步对输⼊入序列列中不不同时间步的表征或编码信息分配不不同 的注意⼒力力⼀一样 在注意⼒力力机制中，解码器器的每⼀一 时间步将使⽤用可变的背景变量量 注意⼒力力机制能够为表征中较有价值的部分分配较多的计算资源 特别是启发了了依靠注意⼒力力机制来编码输⼊入序列列并解码出输出序列列的变换器器 （Transformer）模型的设计 Transformer抛弃了卷积神经网络和循环神经网络的架构 基于注意力的神经网络机器翻译 py..
Bert模型的学习之路
u011412768的博客
03-04 961
在Bert模型的学习中，遇到了以下一些不错的资料，虽然走了很多弯路，这里总结一下比较好的学习历程吧，需要花一点时间阅读。首先是对NLP中语言模型的一个发展历程的一个介绍： 理论模型学习： 1、从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史： https://zhuanlan.zhihu.com/p/49271699 与之先...
bert资料收集汇总
dlhlSC的博客
08-13 253
一、seq2seq资料 Teacher force策略 https://github.com/tensorflow/nmt https://zhuanlan.zhihu.com/p/57155059 Seq2seq应用 Latex识别：https://guillaumegenthial.github.io/sequence-to-sequence.html 字母序：https://zhuanlan.zhihu.com/p/27608348 API使用方法 https://zhuanlan.zhih
Bert模型的学习（理论方面）
qq_56350439的博客
01-25 656
一、传统的训练网络： 传统的RNN网络： RNN网络不能并行 传统的word2vec: 预训练好的向量就永久不变了 二、注意力机制： 基本构架图： self-attention:（注意力机制） 相关程度： （利用内积得到相关程度） 利用softmax得到比例： 并且利用Scaled Dot-Product Attention去除了向量维度的影响 Attention整体计算流程： 三、multi-headed机制： 一般来说最多8层 全...
《预训练模型》+NLP核心知识点+课件+PPT详细备注（讲义）+Transformer+Bert+Attention+发展历史
最新发布
04-02
【资源介绍】这份《预训练模型》NLP核心知识点资源集包含了丰富的课件PPT、详细讲义注释，专注于讲解Transformer、BERT等革命性预训练模型在自然语言处理（NLP）领域中的应用与发展历程，特别强调了Attention机制这...
Python自然语言处理-BERT实战
10-26
通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于...
NLP技术 自然语言处理技术知识讲解 自然语言处理通用框架BERT原理解读 共33页.pdf
04-25
通俗讲解知识点，项目实战驱动 当下主流解决框架，一站式搞定NLP任务 环境配置：选一款IDE即可，基于谷歌开源项目 提供所有数据与代码，追随热点持续更新 【自然语言处理通用解决方案】 需要熟悉word2vec，RNN网络...
自然语言处理之BERT模型算法、架构和案例实战.pptx
10-13
通过对BERT模型的算法原理、架构设计和实际应用案例的详细解析，为读者提供了从理论到实践的完整指导。 BERT模型算法采用了Transformer架构，通过预训练的方式，让模型能够自动学习语言的表示和上下文关系。该模型...
bert-base-chinese.rar
11-10
pytorch实现的中文bert预训练模型bert-base-chinese，可用于中文短文本分类，问答系统等各种NLP任务（网盘链接）
自然语言处理之BERT Huggingface源码详细框架图
04-23
文件内容包括基于huggingface的BERT源码自定义类架构图以及基于Huggingface的bert源码TFBertModel ...内容是通过对Huggingface源代码进行逐行阅读与解析得到，文档图均使用processon手绘可得，非常推荐新手阅读学习。
一个专为推荐系统定制的BERT！
zenRRan的博客
04-29 684
点击下面卡片，关注我呀，每天给你送来AI技术干货！炼丹笔记干货作者：一元，四品炼丹师来自：来自炼丹笔记U-BERT: Pre-training User Representations...
自然语言处理之BERT模型
qq_40216188的博客
05-26 1291
自然语言处理之BERT模型一、BERT模型原理1.1 MASKED LM（Masked lanhuage Model）1.2 Next Sentence Prediction 一、BERT模型原理 BERT模型（Bidirectional Encoder Representations from Transformers）：双向transformer编码表达。 在BERT中主要以两种预训练的方式建立语言模型：MASKED LM和Next Sentence Prediction。 1.1 MASKED L
大语言模型model官方文件整理【roberta_wwm,bert_wwm,bert,xlnet....】
人上人酿酒师的博客
06-27 1939
bert/roberta/xlnet/macbert/electra等等tiny、base、small、large、xlarge等等版本，tensorflow和torch版本
Python自然语言处理-BERT模型实战
10-21
购买课程后，添加小助手微信（微信号：itxy41）回复【唐宇迪】 进入学习群，获取唐宇迪老师答疑Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于BERT框架进行中文情感分析与命名实体识别等主流项目实战，提供全部课程资料，包括PPT,数据,代码。
bert模型环境搭建以及运行
z18769643585的博客
06-30 1659
bert模型搭建
【BERT】相关论文、文章和代码资源汇总
ranmaxli的博客
02-03 740
BERT最近太火，蹭个热点，整理一下相关的资源，包括Paper, 代码和文章解读。 1、Google官方: 1)BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 一切始于10月Google祭出的这篇Paper, 瞬间引爆整个AI圈包括自媒体圈:https://arxiv.o...
BERT用于推荐系统的finetune记录
qq_39609267的博客
08-14 1044
环境 transformers==2.7.0 pytorch ==1.5.1 思想 先说一下这个推荐模型的大概思路： 收集用户和商品对应的评论，数据集用的是亚马逊的 提取用户id、商品id、对应的评论和评分，其中id转化为从0开始的整数 将数据集按一定比例划分为训练集、验证集和测试集 挖掘用户-商品之间评论的语义信息（通过句向量的方式） 根据句向量预测新的评论可能的评分和真实的评分来进行误差计算 如何finetune 一开始始终不明白BERT-finetune的含义 ，我觉得肯定有很多人一开始接触的时候
详细讲解一下bert模型，必要时加上代码
05-26
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练语言模型，采用的是Transformer的编码器结构。它是由Google在2018年推出的，是自然语言处理领域的一个重要突破，也是目前最先进的自然语言处理模型之一。 BERT的核心思想是通过预训练来学习语言模型，然后在具体任务上进行微调。预训练过程主要有两个任务：Masked Language Model（MLM）和Next Sentence Prediction（NSP）。 在MLM任务中，BERT模型会将输入的文本中的一些单词随机替换成“[MASK]”，然后模型需要根据上下文预测被替换的单词是什么。这个任务的目的是让模型学会理解上下文中单词的语义和语法。 在NSP任务中，BERT模型需要判断两个输入的文本是否是连续的，并输出一个分类结果。这个任务的目的是让模型学习到文本之间的关系，例如问答、句子分类等任务的基础。 下面是BERT模型的具体结构，以BERT-base为例： ![BERT-base](https://cdn.jsdelivr.net/gh/shijiatongxue/blog_img/20210713122538.png) 其中，输入层是将单词转化为向量表示。BERT采用的是WordPiece词汇切分方法，将单词切分成多个子单词，并对每个子单词进行向量表示。然后，将这些向量经过位置嵌入、类型嵌入和层归一化等处理后，输入到Transformer编码器中。 Transformer编码器由多个Transformer block组成，每个block中包含一个multi-head self-attention层和一个feed-forward层。其中，multi-head self-attention层用于学习单词之间的依赖关系，feed-forward层则用于学习语义信息。 最后，经过多个Transformer block的处理后，将最后一层的输出作为模型的表示结果，输入到具体任务的模型中进行微调。 下面是使用Hugging Face库实现BERT模型的代码： ```python from transformers import BertTokenizer, BertModel # 加载预训练模型和tokenizer tokenizer = BertTokenizer.from_pretrained('bert-base-uncased') model = BertModel.from_pretrained('bert-base-uncased') # 输入文本 text = "Hello, this is a test sentence." # 将文本转化为token tokenized_text = tokenizer.tokenize(text) # 加入特殊标记 tokenized_text = ['[CLS]'] + tokenized_text + ['[SEP]'] # 将token转化为索引 indexed_tokens = tokenizer.convert_tokens_to_ids(tokenized_text) # 将索引转化为PyTorch张量 tokens_tensor = torch.tensor([indexed_tokens]) # 获取BERT模型的输出 outputs = model(tokens_tensor) # 获取最后一层的输出 last_hidden_states = outputs[0] ``` 以上是BERT模型的简单介绍和代码实现，希望能对您有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值