![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
自然语言处理
文章平均质量分 93
K24B;
这个作者很懒,什么都没留下…
展开
-
文档分类Transformer 模型(pytorch实现)
Transformer用于分档分类原创 2024-05-17 15:21:42 · 1047 阅读 · 0 评论 -
文本分类TextRNN_Att模型(pytorch实现)
TextRNN_Att模型在TextRNN的基础上添加了Attention模块 使提取到的特征更具针对性原创 2024-05-15 20:54:44 · 1020 阅读 · 0 评论 -
文档分类DPCNN简介(pytorch实现)
DPCNN模型是CNN模型的一个变种,用来做文档分类任务原创 2024-05-14 19:56:41 · 860 阅读 · 0 评论 -
文档分类FastText模型 (pytorch实现)
FastText是一种速度和性能比较好的一种文档分类的方法原创 2024-05-14 18:59:09 · 835 阅读 · 0 评论 -
文本分类TextRCNN模型(pytorch实现)
TextRCNN综合了RNN和CNN 的优势,让我们来了解一下原创 2024-05-14 15:31:37 · 822 阅读 · 0 评论 -
TextCNN网络详解(pytorch实现文本分类)
textcnn网络在NLP文档分类任务上有较好的性能,让我们来了解一个TextCNN的网络结构及pytorch代码实现原创 2024-05-13 16:45:52 · 838 阅读 · 0 评论 -
ERNIE 3.0知识增强大模型
Ernie3.0框架,试图对包括大量纯文本和知识图谱在内的大规模无监督语料进行预训练,此外,为了是model学到更多的有价值的词汇、句法和语义信息组成的不同层次的知识,其中预训练任务分布在三个任务范式中,即自然语言理解、自然语言生成和知识提取,因此,ERNIE 3.0创新性地设计了一个连续的多范式统一预训练框架,以实现多任务范式间的协同预训练。ERNIE 3.0,使不同的任务范式能够共享在一个共享网络中学习的底层抽象特征,并分别利用在他们自己的特定任务网络中学习的特定任务顶层具体特征。原创 2023-09-25 15:52:20 · 258 阅读 · 1 评论 -
文本转变向量的几种常用的方法(one-hot,TF-IDF,word2vec)
本文讲解文本转变向量的几种方法,主要有one-hot,TF—IDF,word2vec,只讲解原理,不涉及代码和公式原创 2023-05-21 15:13:01 · 2987 阅读 · 1 评论 -
Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context(论文解读)
but also片段递归机制(segment-level recurrence mechanism )相对位置编码机制(relative positional encoding)提升了序列的长期依赖能力(capturing longer-termdependency)解决了上下文碎片问题(context segmentation problem)提升模型的预测速度和准确率。原创 2023-09-22 18:24:00 · 122 阅读 · 0 评论 -
BERT参数计算,RBT3模型结构
Bert沿用了惯用的全连接层大小设置,即4 * dmodle = 3072,其中用到了两个参数W1,W2,其中W1(768,3072),W2(3072,768),b1(768,1),b2(3072,1)。的模型由多层双向的Transformer编码器组成,由12层组成,768隐藏单元,12个head,总参数量110M,约1.15亿参数量。解释:m为输入的单词的数量,768位每个词的维度,64是因为分成了12个head(768/12)。:词汇量的大小为30522,每个词都是768维,共30522*768。原创 2023-07-21 13:12:10 · 887 阅读 · 1 评论 -
Transformer And BERT Learning Is All You Need
对BERT和Attention两篇论文的理解原创 2023-07-21 09:57:34 · 202 阅读 · 1 评论 -
基于词向量的faq问答(附代码)
模型保存可以有很多种格式,根据格式的不同可以分为2种,一种是保存为.model的文件,一种是非.model文件的保存。这两种方式的加载在获取词向量的时候应该是差别不大,区别就是.model可以继续训练,但是考虑到存在这样的场景,模型训练以后,会有新的语料,也就存在新词,这个时候新词用。里面的每一个question分词,并且过滤掉停用词,并把过滤之后的词放到。并不可视,它们的内存占用要少一些,加载的时间要多一点。相当于用户提出的问题,按照上面的方式进行分词,文件中的问答卷,将其中的。(貌似这样的,反正就是。原创 2023-06-15 22:19:44 · 127 阅读 · 3 评论