BERT 学习推荐资源（文章讲解+视频讲解+BERT模型运行指导）

最新推荐文章于 2023-06-27 15:02:55 发布
最新推荐文章于 2023-06-27 15:02:55 发布
阅读量1.8k 收藏 4
点赞数 2
文章标签： bert 音视频 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44532527/article/details/122950533
版权

前言

最近个人对NLP （自然语言处理）方向比较感兴趣，经同学推荐先学习了BERT模型，BERT模型是近几年来NLP领域最火的一个模型，算是NLP领域一个里程碑式的改变。谷歌公司AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类，并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7% （绝对改进率5.6％）等。

Transformer学习

在学习BERT模型之前建议先学习一下transformer模型，这是BERT模型中所使用到的。

Transformer的本质上是一个Encoder-Decoder的结构，在transformer模型诞生之前，很多Encoder-Decoder 都是基于CNN和RNN的，而transformer模型是基于attention机制（ 附上关于Attention机制的介绍：一文看懂 Attention（本质原理+3大优点+5大类型） - 知乎 (zhihu.com)）

这篇文章简单说明了transformer的结构以及和CNN,RNN的一些差别：

简单介绍Transformer模型 - 知乎 (zhihu.com)

在Transformer的学习中，大力推荐的是李宏毅老师对transformer的讲解，其中包括对自注意机制的讲解，以及模型结构的具体讲解，非常通俗易懂，是我目前看到的最棒的对transformer模型讲解的视频了

视频链接：B站：搜索：BV1J441137V6 或者直接搜索：李宏毅transformer

​ 油管链接：Transformer - YouTube

对应的图文讲解版链接：Transformer模型详解（图解最完整版） - 知乎 (zhihu.com)

BERT学习

了解完transformer模型，接下来就要开始正题了：对BERT模型的学习

BERT论文和代码地址：

Refrence Code :https://github.com/google-research/bert

Paper : https://arxiv.org/abs/1810.04805

建议可以先看一些那种CSDN上对于BERT模型的一文介绍：

NLP必读：十分钟读懂谷歌BERT模型 - 知乎 (zhihu.com)

一文读懂BERT(原理篇)_sunhua93的博客-CSDN博客_bert （文章较长，将NLP发展史进行了梳理）

看了对BERT的简单介绍如果还有不太懂的，可以在B站搜索：BV1Ey4y1874y 这个up主的视频比较通俗易懂，他的主页里面也有对transformer的讲解，也可以多看一看

看了这些之后，可以就可以开始看BERT论文啦

看完论文可以尝试着运行一下Google发布的开源代码

本人也是做了一个关于BERT预训练模型运行的博客，欢迎各位大佬前来指正！

附上博客链接：谷歌经典bert模型从下载源码到运行成功_qq_44532527的博客-CSDN博客

结语

目前本人还是个小菜鸡，对于机器学习、NLP方向还只停留在表面的理解，若有地方写的不妥，还希望各位读者们指正！

17不想当码农
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
基于BERT模型的中文医学文献分类研究
06-23
探究BERT中文基础模型（BERT-Base-Chinese）和BERT中文医学预训练模型（BERT-Re-Pretraining-Med-Chi）在中文医学文献分类上的分类效果及差异原因。[方法] 本研究以34万篇中文医学文献摘要为医学文本预训练语料，分别以16,000和32,000条中文医学文献摘要为分类的训练样本，并以另外的3200条摘要作为测试样本，利用BERT的两个模型来进行中文医学文献分类研究，并以SVM方法作为对比基准。[结果] BERT的两种模型在分类效果上均优于SVM模型,两种模型的F1值均比SVM模型高出5%左右；BERT-Re-Pretraining-Med-Chi模型在两种样本量下F1值分别达到0.8390和0.8607,均为三者中最好的分类效果。[局限] 本研究仅对中图分类号R下的16个类别进行了分类研究，其余4个类别因数据量过少等原因而未纳入分类体系中。[结论] BERT-Re-Pretraining-Med-Chi方法能够显著提升医学文献的分类效果；基于BERT的深度学习方法在多类别大规模训练集下更能体现其分类的优越性。
Python自然语言处理-BERT实战
10-26
通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于...
Bert模型的学习之路
u011412768的博客
03-04 978
在Bert模型的学习中，遇到了以下一些不错的资料，虽然走了很多弯路，这里总结一下比较好的学习历程吧，需要花一点时间阅读。首先是对NLP中语言模型的一个发展历程的一个介绍： 理论模型学习： 1、从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史： https://zhuanlan.zhihu.com/p/49271699 与之先...
深度学习（自然语言处理）Bert学习资料整理
忆_恒心的博客
10-03 678
Seq2Seq模型简介 注意力机制 在解码器器的每⼀一时间步对输⼊入序列列中不不同时间步的表征或编码信息分配不不同 的注意⼒力力⼀一样 在注意⼒力力机制中，解码器器的每⼀一 时间步将使⽤用可变的背景变量量 注意⼒力力机制能够为表征中较有价值的部分分配较多的计算资源 特别是启发了了依靠注意⼒力力机制来编码输⼊入序列列并解码出输出序列列的变换器器 （Transformer）模型的设计 Transformer抛弃了卷积神经网络和循环神经网络的架构 基于注意力的神经网络机器翻译 py..
bert资料收集汇总
dlhlSC的博客
08-13 265
一、seq2seq资料 Teacher force策略 https://github.com/tensorflow/nmt https://zhuanlan.zhihu.com/p/57155059 Seq2seq应用 Latex识别：https://guillaumegenthial.github.io/sequence-to-sequence.html 字母序：https://zhuanlan.zhihu.com/p/27608348 API使用方法 https://zhuanlan.zhih
Bert模型的学习（理论方面）
qq_56350439的博客
01-25 670
一、传统的训练网络： 传统的RNN网络： RNN网络不能并行 传统的word2vec: 预训练好的向量就永久不变了 二、注意力机制： 基本构架图： self-attention:（注意力机制） 相关程度： （利用内积得到相关程度） 利用softmax得到比例： 并且利用Scaled Dot-Product Attention去除了向量维度的影响 Attention整体计算流程： 三、multi-headed机制： 一般来说最多8层 全...
一个专为推荐系统定制的BERT！
zenRRan的博客
04-29 725
点击下面卡片，关注我呀，每天给你送来AI技术干货！炼丹笔记干货作者：一元，四品炼丹师来自：来自炼丹笔记U-BERT: Pre-training User Representations...
bert-wwm+cnn+双向lstm
02-25
1. "基于bert_wwm+cnn+双向lstm实现文本分类情感分析.mp4"：这是一个视频教程，可能详细讲解了如何构建和训练该模型，以及如何应用到文本分类和情感分析任务上。 2. "main.py"：这是主程序文件，包含了模型的定义、...
NLP技术 自然语言处理技术知识讲解 自然语言处理通用框架BERT原理解读 共33页.pdf
04-25
在NLP技术中，BERT（Bidirectional Encoder Representations from Transformers）是一种革命性的预训练模型，由Google在2018年提出，它极大地推动了自然语言处理的发展。 首先，我们要理解NLP任务的基础——词向量...
使用BERT进行文档摘要模型开发的详细指南.pdf
最新发布
08-08
模型构建阶段，我们将采用预训练的BERT模型作为Encoder，以捕获文本的深层语义特征。Decoder部分通常是一个基于Transformer的Seq2Seq（Sequence to Sequence）模型，负责生成摘要。损失函数可以选择交叉熵或与ROUGE-...
bert-base-chinese.rar
11-10
pytorch实现的中文bert预训练模型bert-base-chinese，可用于中文短文本分类，问答系统等各种NLP任务（网盘链接）
bert相关任务，用于学习交流
02-22
描述中的“用于学习交流”意味着这个压缩包可能包含了有关BERT的教程、代码示例、实验数据或讨论材料，旨在帮助学习者理解和应用BERT模型。这可能包括预训练模型的下载链接、不同任务的 fine-tuning 方法、评估指标...
BERT4Rec：当NLP王者BERT进军推荐领域
Kaiyuan_sjtu的博客
04-02 2763
作者| 知乎博主@青枫拂岸整理|NewBeeNLPCIKM2019上，阿里发表了《BERT4Rec: Sequential Recommendation with Bidirectional Encoder Representations from Transformer》[1]，继BST将Transformer之后，又一次将NLP领域中前沿技术迁移到了推荐领域。...
自然语言处理之BERT模型
qq_40216188的博客
05-26 1374
自然语言处理之BERT模型一、BERT模型原理1.1 MASKED LM（Masked lanhuage Model）1.2 Next Sentence Prediction 一、BERT模型原理 BERT模型（Bidirectional Encoder Representations from Transformers）：双向transformer编码表达。 在BERT中主要以两种预训练的方式建立语言模型：MASKED LM和Next Sentence Prediction。 1.1 MASKED L
【自注意力机制必学】BERT类预训练语言模型（含Python实例）
热门推荐
Moresweet 猫甜
06-22 1万+
BERT（Bidirectional Encoder Representations from Transformers）是一种预训练模型，它是自然语言处理（NLP）领域的重大里程碑，被认为是当前的State-of-the-Art模型之一。BERT的设计理念和结构基于Transformer模型，通过无监督学习方式进行训练，并且能够适配各种NLP任务。预训练模型是指在大规模文本数据上进行大量无监督训练，学习得到丰富的语言表示。
大语言模型model官方文件整理【roberta_wwm,bert_wwm,bert,xlnet....】
人上人酿酒师的博客
06-27 2094
bert/roberta/xlnet/macbert/electra等等tiny、base、small、large、xlarge等等版本，tensorflow和torch版本
Python自然语言处理-BERT模型实战
10-21
购买课程后，添加小助手微信（微信号：itxy41）回复【唐宇迪】 进入学习群，获取唐宇迪老师答疑Python自然语言处理-BERT模型实战课程旨在帮助同学们快速掌握当下NLP领域最核心的算法模型BERT的原理构造与应用实例。通俗讲解BERT模型中所涉及的核心知识点（Transformer,self-attention等），基于google开源BERT项目从零开始讲解如何搭建自然语言处理通用框架，通过debug源码详细解读其中每一核心代码模块的功能与作用。最后基于BERT框架进行中文情感分析与命名实体识别等主流项目实战，提供全部课程资料，包括PPT,数据,代码。
bert模型环境搭建以及运行
z18769643585的博客
06-30 1749
bert模型搭建
【BERT】相关论文、文章和代码资源汇总
ranmaxli的博客
02-03 751
BERT最近太火，蹭个热点，整理一下相关的资源，包括Paper, 代码和文章解读。 1、Google官方: 1)BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 一切始于10月Google祭出的这篇Paper, 瞬间引爆整个AI圈包括自媒体圈:https://arxiv.o...
详细讲解一下bert模型，必要时加上代码
05-26
在MLM任务中，BERT模型会将输入的文本中的一些单词随机替换成“[MASK]”，然后模型需要根据上下文预测被替换的单词是什么。这个任务的目的是让模型学会理解上下文中单词的语义和语法。 在NSP任务中，BERT模型需要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值