![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
NLP
文章平均质量分 66
Jeremy_lf
知所先后
展开
-
深度学习之NLP学习笔记(七)— Transformer复杂度分析
复杂度(Complexity)Self-Attention复杂度Attention(Q,K,V)=Softmax(QKTd)VAttention(Q,K,V) = Softmax(\frac{QK^{T}}{\sqrt{d}})VAttention(Q,K,V)=Softmax(dQKT)V线性AttentionTransformer应用MSA、W-MSA原创 2021-04-20 22:55:50 · 7255 阅读 · 5 评论 -
深度学习之NLP学习笔记(六)——Swin Transformer
Project codeAbstract本文提出了一种新的Vision Transformer,称为Swin Transformer,它可以作为计算机视觉的通用骨干。将Transformer从语言转换到视觉方面的挑战来自于这两个领域之间的差异,例如视觉实体规模的很大变化和图像中的像素与文本中的文字相比的高分辨率。为了解决这些差异,我们提出了一个hierarchical Transformer,其表示是计算移位窗口。移位窗口方案通过将自注意计算限制在不重叠的局部窗口上,同时也允许跨窗口连接,带来了更大.原创 2021-04-19 20:48:10 · 1641 阅读 · 1 评论 -
深度学习之NLP学习笔记(五)—DETR与ViT
AN IMAGE IS WORTH 16X16 WORDS :TRANSFORMERS FOR IMAGE RECOGNITION AT SCALEEnd-to-End Object Detection with Transformers原创 2021-03-14 17:33:33 · 1884 阅读 · 0 评论 -
深度学习之NLP学习笔记(四)——Transformer模型
论文:《Attention is all you need》fdsds原创 2021-01-16 09:49:40 · 634 阅读 · 0 评论 -
深度学习之NLP学习笔记(三)—文本分类
文本分类是NLP领域最经典的应用场景之一,其实现方法我们可以划分为两类。其一是基于传统机器学习的文本分类,如 TF-IDF文本分类。其二便是基于深度学习方法的文本分类,如Facebook开源的FastText文本分类,Text-CNN 文本分类,Text-CNN 文本分类等。下面我们详细介绍这两种方法。一、机器学习方法文本分类任务可被划分为特征工程和分类器两部分,具体流程如下图所示:特...原创 2020-05-01 16:25:39 · 1750 阅读 · 0 评论 -
深度学习之NLP学习笔记(二)—文本处理与特征工程
文本处理在现有数据中,文本是最非结构化的形式,里面有各种各样的噪声;如果没有预处理,文本数据都不能分析。清理和标准化文本的整个过程叫做文本预处理(text preprocessing)其作用是使文本数据没有噪声并且可以分析。具体包含以下三个内容:去噪声;词汇归一化;目标标准化去噪声噪声是指和需要的输出没有关系的文本。例如:语言的停用词(is,am, the, of等),URLs, 链接,社...原创 2020-04-28 01:27:15 · 1012 阅读 · 0 评论 -
深度学习之NLP学习笔记(一)—词嵌入及Word2Vec
一、词嵌入参考文章:什么是词嵌入词嵌入是单词的一种数值化表示方式,一般情况下会将一个单词映射到一个高维的向量中(词向量)来代表这个单词。词嵌入实际上是一种将各个单词在预定的向量空间中表示为实值向量的一类技术。每个单词被映射成一个向量(初始随机化),并且这个向量可以通过神经网络的方式来学习更新。因此这项技术基本集中应用与深度学习领域。这项技术的关键点在于如何用密集的分布式向量来表示每个单词。...原创 2020-04-27 14:47:37 · 1077 阅读 · 0 评论 -
关于NLP中词嵌入—Word Embedding的理解
词嵌入(word-embedding)又被称为词向量。在图像分类中一般使用One-hot编码,比如有五类,如果一个物体属于第二类的话,就可以用编码(0,1,0,0,0)来表示其类别。对于分类问题,十分简单明了。但在自然语言处理中,单词的数目过多,这样做就行不通了。比如有10000个单词,用one-hot方式来定义效率就特别低,每个单词的维度都是10000维的向量,其中只有一个是1,其他的都是0。...原创 2020-02-16 21:08:02 · 930 阅读 · 0 评论 -
阅读笔记:注意力机制详解
原文链接:https://blog.csdn.net/malefactor/article/details/78767781作者:张俊林博士最近两年,注意力模型(Attention Model)被广泛使用在自然语言处理、图像识别及语音识别等各种不同类型的深度学习任务中,是深度学习技术中最值得关注与深入了解的核心技术之一。本文以机器翻译为例,深入浅出地介绍了深度学习中注意力机制的原理及关键计算...转载 2019-11-29 14:15:42 · 622 阅读 · 0 评论