![](https://img-blog.csdnimg.cn/1f10f2e965ba491b977a098d54e21dfb.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
自然语言处理
文章平均质量分 84
该专栏的文章主要与自然语言处理相关,记录自己学习与实践过程中的核心内容。
在路上的工程师
这个作者很懒,什么都没留下…
展开
-
一篇基于深度学习的命名实体识别技术的研究报告
本篇文章主要是自己刚接触NER领域时,研读这篇《 A Survey on Deep Learning for Named Entity Recognition 》NER综述论文时翻译的中文版,这篇综述时间是2020年,可能近两年的部分成果暂未包含,很多内容是通过百度翻译直接翻的,部分内容进行了一定的调整。有少部分内容省略了,具体可以参考原论文,所有涉及的文献引用也请参考原论文。原创 2023-01-25 14:10:38 · 2356 阅读 · 0 评论 -
CLUE命名实体识别
本文介绍了如何利用UER-py工具包进行命名实体识别,以CLUE数据集作为实验数据集,手把手教你如何实践。原创 2023-01-25 13:22:14 · 1239 阅读 · 1 评论 -
深度学习超参设置的一般性方法
建议先参考相关论⽂,以论⽂中给出的参数作为初始参数。 ⾄少论⽂中的参数,是个不差的结果。原创 2023-01-25 13:15:56 · 744 阅读 · 1 评论 -
Out of Vocabulary处理方法
我们在NLP任务中一般都会有一个词表,这个词表一般可以使用一些大牛论文中的词表或者一些大公司的词表,或者是从自己的数据集中提取的词。但是无论当后续的训练还是预测,总有可能会出现并不包含在词表中的词,这种情况叫做Out of Vocabulary。原创 2023-01-25 13:11:45 · 1359 阅读 · 0 评论 -
文本摘要生成的评估指标
这里的N就是指的n-gram,n=1时叫ROUGE-1(也叫Unigrams);n=2时,叫ROUGE-2(也叫Bigrams);n=3时,叫ROUGE-3(Trigrams)。原创 2023-01-25 13:06:16 · 1155 阅读 · 0 评论 -
NLG采样策略
因为模型生成时,一定程度上依赖于已经生成的句子,所以一味的选取概率最大的,可能会使句子的生成陷入不断地重复循环中,所以针对beam search这些特点,为了可以生成更多样化的句子(引入一定的随机性)又不偏离主题,以下几种采样策略被研究者提出。原创 2022-12-12 22:31:37 · 696 阅读 · 0 评论 -
NLG解码策略
seq2seq模型最后经过一个softmax层,在每个时间步均得到一个词表大小的概率分布,如何利用这些概率分布得到最终的预测句子就是本节学习的解码策略。原创 2022-12-12 22:22:05 · 431 阅读 · 0 评论 -
构建文本摘要Baseline并且开始训练
首先利用上一节seq2seq实践中,封装的encoder、decoder和attention,集成到此模型中来,另外就是增加了一个训练技巧–teacher forcing。原创 2022-12-12 22:10:52 · 434 阅读 · 0 评论 -
使用tensorflow实现seq2seq
上篇文章记录了seq2seq和attention机制的基本原理,这篇文章趁热打铁看看如何自己写代码实现。原创 2022-12-12 22:07:04 · 697 阅读 · 0 评论 -
Seq2Seq基本原理
在seq2seq结构中,通常将整个模型分为encoder和decoder两个核心组件,连接两个组件的就是context vector,即Encoder组件生成的上下文向量。原创 2022-12-12 22:04:45 · 834 阅读 · 0 评论 -
Word2Vec 实践
本博文主要介绍借助 gensim 库实现Word2Vec,并且基于文本摘要任务的Word2Vec的数据预处理和训练过程,以及后续词向量的保存和加载。原创 2022-11-26 15:57:22 · 1606 阅读 · 0 评论 -
Word2Vec
word vector的核心思想:为每个单词构建一个密集向量,选择后的向量与出现在类似上下文中的单词向量相似。注:word vectors 也叫 word embeddings 或者 (neural) word representations,它们是分布式表示的。原创 2022-11-26 15:50:10 · 1192 阅读 · 0 评论 -
LSTM和GRU
主要介绍LSTM和GRU的基本原理和简单实现,以及RNN、LSTM和GRU之间的区别。原创 2022-11-26 15:07:39 · 1725 阅读 · 0 评论 -
理解循环神经网络
理解循环神经网络的基本原理和计算过程,以及使用tensorflow实现RNN的基本方法。原创 2022-11-26 14:58:04 · 1331 阅读 · 0 评论 -
BERT finetune
本文的主要内容是基于huggingface transformer的chinese-bert-wwm模型,在自己的语料集上进行finetune的整体步骤和代码实现。原创 2022-10-15 13:15:56 · 1561 阅读 · 0 评论 -
Whole Word Masking (wwm)
在BERT中,原有基于WordPiece的分词方式会把一个完整的词切分成若干个子词,在生成训练样本时,这些被分开的子词会随机被mask。 在全词Mask中,如果一个完整的词的部分WordPiece子词被mask,则同属该词的其他部分也会被mask,即全词Mask。原创 2022-10-15 13:13:40 · 2216 阅读 · 0 评论 -
利用huggingface-transformers进行命名实体识别
Transformers 提供了数以千计的预训练模型,支持 100 多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。原创 2022-10-15 13:09:57 · 2302 阅读 · 1 评论 -
使用HanLP进行分词和实体抽取
本文记录使用HanLP进行分词和实体抽取的学习过程,包括模型加载、分词和自定义词典、实体抽取和自定义实体词典等步骤。原创 2022-07-16 15:44:19 · 5009 阅读 · 0 评论