BERT
文章平均质量分 85
关于BERT预训练模型的论文,项目,学习心得,代码等内容。
郭畅小渣渣
这个作者很懒,什么都没留下…
展开
-
Autoencoding neural models to extract word representations
Autoencoding neural models can be used to extract word representations, such as BERT and Autoencoding neural models can be used to extract word representations, such as BERT and VAE. 自动编码神经模型可以用来提取单词表示,如BERT和VAE。原创 2021-01-18 22:17:52 · 926 阅读 · 0 评论 -
BERT | (4)Bert生成句向量_pytorch
原文地址:Bert生成句向量(pytorch)本文主要讲如何调用transformers这个包来提取一个句子的特征。Transformers是TensorFlow2.0和PyTorch的最新自然语言处理库Transformers(以前称为pytorch-transformers和pytorch-pretrained-bert)提供用于自然语言理解(NLU)和自然语言生成(NLG)的最先进的模型(BERT,GPT-2,RoBERTa,XLM,DistilBert,XLNet,CTRL …) ,.转载 2021-03-29 16:11:32 · 4011 阅读 · 4 评论 -
BERT |(3)BERT模型的使用--pytorch的代码解释
参考代码:https://github.com/649453932/Bert-Chinese-Text-Classification-Pytorch从名字可以看出来这个是做一个中文文本分类的的任务,具体就是做新闻文本分类的任务,具体有以下几个类,属于多分类的问题目录一、如何让你下载的代码跑起来二、bert模型的使用模型代码学习-CLS文本分类-Bert-Chinese-Text-Classification-Pytorch代码学习-训练并测试过程模型代码学习-CLS文本分类-Be原创 2021-03-13 21:42:40 · 10623 阅读 · 23 评论 -
BERT |(2)BERT的原理详解
在写这一篇的时候,偶然发现有一篇博客,相比于我之前的一篇写得更详尽,这一篇也参考这篇博客来继续写写自己的笔记总结。原博客地址:一文读懂BERT(原理篇)一、什么是Bert?二,bert的原理从创新的角度来看,bert其实并没有过多的结构方面的创新点,其和GPT一样均是采用的transformer的结构,相对于GPT来说,其是双向结构的,而GPT是单向的,如下图所示elmo:将上下文当作特征,但是无监督的语料和我们真实的语料还是有区别的,不一定的符合我们特定的任务,是一种双向的特征转载 2021-03-13 10:37:03 · 1839 阅读 · 0 评论 -
BERT |(1)BERT的先修--Transformer
一、自然语言处理通用解决方案1、需要熟悉word2vec,RNN网络模型,了解词向量如何建模2、重点在于Transformer网络架构,BERT训练方法,实际应用3、开源项目,都是现成的,套用进去就OK了4、提供预训练模型,基本任务拿过来直接用都成二、TransformerTransformer的基本组成依旧是机器翻译模型中常见的Seq2Seq网络。输入输出都很直观,其核心架构就是中间的网络设计了。至于具体是如何设计的,请往下看2.1 RNN根据下面的传统RNN的模型框架.原创 2021-03-13 10:07:33 · 345 阅读 · 0 评论