nlp
文章平均质量分 77
茫茫人海一粒沙
这个作者很懒,什么都没留下…
展开
-
SpaCy的使用例子总结
当使用Spacy进行自然语言处理时,常见的用例包括文本分词、命名实体识别、词性标注、句法分析等。原创 2024-02-15 21:56:50 · 666 阅读 · 0 评论 -
机器学习的整个流程
机器学习的整个流程定义了数据科学团队执行以创建和交付机器学习模型的工作流。此外,机器学习流程还定义了团队如何协作合作,以创建最有用的预测模型。原创 2024-02-04 17:34:39 · 1392 阅读 · 0 评论 -
自然语言处理中所有任务的概括
自然语言处理(Natural Language Processing,NLP)是人工智能领域中的一个重要分支,致力于让计算机能够理解、解释、处理人类语言。NLP的发展为我们提供了许多强大的工具和技术,使得计算机能够执行各种任务,从简单的文本处理到复杂的语义理解。在本文中,我们将探讨自然语言处理可以完成的多个任务,以及每个任务的实际例子。原创 2024-02-04 15:36:32 · 908 阅读 · 0 评论 -
(Transfer Learning)迁移学习在IMDB上训练情感分析模型
有些场景下,开始的时候数据量很小,如果我们用一个几千条数据训练一个全新的深度机器学习的文本分类模型,效果不会很好。这个时候你有两种选择,1.用传统的机器学习训练,2.利用迁移学习在一个预训练的模型上训练。本博客教你怎么用tensorflow Hub和keras 在少量的数据上训练一个文本分类模型。原创 2023-11-17 16:43:22 · 405 阅读 · 0 评论 -
LSTM seq2seq 模型之英语到法语翻译
cpu 上训练时间大概是一整天。原创 2023-11-30 14:06:10 · 573 阅读 · 0 评论 -
Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length Context 论文总结
Paper:Transformer-XL: Attentive Language ModelsBeyond a Fixed-Length ContextCode:Transformer-XL code1. 论文简介Transfomer-XL = Transformer Extra Long2. 什么是Transformer3. Vanilla transfomer langangemodels 简单介绍与缺点3.1简单介绍3.2 缺...原创 2022-04-21 21:44:50 · 432 阅读 · 0 评论 -
ConvBERT: Improving BERT with Span-based Dynamic Convolution论文的阅读笔记
ConvBERT 论文地址https://arxiv.org/pdf/2008.02496.pdf1. 论文中指出的BERT以及相关变体的问题1. Bert 以及相关变体严重依赖于全局自注意力模块,这导致了模型占用了很大内存和计算成本,但是根据现有的最新论文和观察attention map发现一些注意力的头只学习到了局部依赖,也就是用全局注意力模块学习局部依赖,造成了计算的浪费和计算的冗余。2. 自然语言中的固有特征,局部依赖性强。3.在对下游任务进行微调时,移除一些注意力的头没有降低性能.原创 2022-04-19 22:31:44 · 2705 阅读 · 0 评论 -
自然语言处理中的语言模型与预训练技术的总结
0. 背景在现在的自然语言处理(Natural Language Processing)中,一个句子通常是被看成一系列词语的全排列,这些词语能够形成各种不同的组合状态,比如:我 在 上海迪斯尼 在 我 上海迪斯尼 上海 我 在迪斯尼 上海 在 我迪斯尼 。。。在这些所有可能的排列的情况中,只有很少一部分(由于语言的多样性,不一定只有一种可能是合法)是可以被人理解的,那么该如何衡量一个词语序列是否是可被理解,或者说怎样的词语序列是合法的?就是语言模型(Language...原创 2022-02-26 11:42:50 · 3756 阅读 · 0 评论 -
词袋BOW与CBOW的区别
1. Bag-of-words模型 Bag-of-words模型也叫做“词袋”,Bag-of-words模型是信息检索领域常用的文档表示方法。在信息检索中,BOW模型假定对于一个文档,忽略它的单词顺序和语法、句法等要素,将其仅仅看作是若干个词汇的集合,文档中每个单词的出现都是独立的,不依赖于其它单词是否出现。也就是说,文档中任意一个位置出现的任何单词,都不受该文档语意影响而独立选择的。例如有如下两个文档:1:Bob likes to play basketball, Jim likes ...原创 2022-02-12 18:14:15 · 1304 阅读 · 0 评论