NLP自然语言知识梳理入门
文章平均质量分 95
本专栏采用由浅入深的方式,旨在帮助初学者逐步了解整个自然语言处理领域的文本模型,从而使其能够更轻松地阅读相关论文,并开展科研工作。
这个男人是小帅
求其上,得其中;求其中,得其下,求其下,必败。
展开
-
自然语言处理基础知识入门(六) GPT模型详解
在之前的章节中,深入探究了预训练ELMo模型的架构与实现原理。通过采用双向LSTM架构在大规模文本数据上进行预训练,ELMo模型成功地为预训练模型时代的开启奠定了基础。继ELMo之后,OpenAI基于transformer架构发布了GPT(Generative Pre-training Transformer)模型,该模型同样采用预训练策略,进一步推动了自然语言处理领域的语言模型发展。在本章节,以GPT模型为起点,初步的学习ChatGPT等基于对话的AI模型背后的原理与技术演化。原创 2024-06-01 14:27:56 · 987 阅读 · 0 评论 -
自然语言处理基础知识入门(五) ELMo模型详解
https://arxiv.org/pdf/1802.05365v2 原始论文链接在之前的章节中,深入讨论了 Word2vec 模型对自然语言处理领域的深远影响。以及讲解了大名鼎鼎的变形金刚Transformer对多模态技术发展的影响,虽然按照逻辑顺序,接下来的章节应该是学习 Bert 模型,但是为了在学习Bert过程中能够与 ELMo 进行深入对比并且保持学习过程中的连贯性,本章节将先行讲解 ELMo 模型。原创 2024-05-25 09:37:18 · 1289 阅读 · 0 评论 -
自然语言处理基础知识入门(四) Transformer模型整体最详解(self- attention机制,mask机制)
在前面的章节中,详细讨论了循环神经网络(RNN)及其衍生模型,经过对RNN的不断改良,它们现在已经具备了长期记忆的能力,这无疑是语言模型领域的一项重大突破。然而,现在的多模态技术以及GPT的出现,绝大多数都选择了基于Transformer的架构,这是为何呢?本章节将围绕这个问题展开,将深入讲解自注意力机制,揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术,以及多模态技术如CLIP等内容奠定坚实的基础。原创 2024-05-11 15:45:07 · 929 阅读 · 2 评论 -
自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解
提示:本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码(positional encoding)的讨论,提供更深入的解析以助于对该概念的整体理解。参考了这两篇博文Vaswani等人推出了Transformer架构,这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升,使其迅速在自然语言处理(NLP)领域以及最新的计算机视觉(CV)研究中获得了广泛的认可和应用。原创 2024-05-05 16:16:08 · 1719 阅读 · 4 评论 -
自然语言处理基础知识入门(三) RNN,LSTM,GRU模型详解
在上一章节中,深入探讨了Word2vec模型的两种训练策略以及创新的优化方法,从而得到了优质的词嵌入表示。不仅如此,Word2vec作为一种语言模型,也具备根据上下文预测中心词的能力,这是其训练的核心任务,也是模型所能实现的功能。那么,既然已有语言模型,为何还需要引入RNN呢?又或者,RNN具有何种独特性呢?而LSTM和GRU为什么会被视为RNN的变体?本章节将针对这些问题,用深入浅出的语言解读这些模型背后的核心逻辑,以便让读者对整个知识体系存在一个全面的理解。原创 2024-04-14 17:21:48 · 1597 阅读 · 1 评论 -
自然语言处理基础知识入门(二) Word2vec模型,层次softmax,负采样算法详解
在上一篇博文中,详细探讨了NLP(自然语言处理)领域中两个核心技术:基于统计的N-gram模型与基于深度学习的NNLM(神经网络语言模型)。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码),这种方法可能忽略了单词之间在某些层面上的相似性,从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息,可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身,这种方法成功地为词向量赋予了包含语义信息的能力。原创 2024-04-02 18:25:16 · 1469 阅读 · 1 评论 -
自然语言处理基础知识入门(一) N-gram,NNLM模型讲解
在之前的博客中介绍了图神经网络(Graph Neural Networks, GNNs)的内容,旨在帮助初学者快速掌握这一复杂领域,以便于读者迅速投入到科研工作中去。在浏览这些图神经网络相关的资料时,读者经常会遇到一个关键术语 —— “嵌入表示”(Embedding),该术语用于描述图结构中单个节点的特征信息。尽管许多初学者可能对这个概念感到陌生,但它实际上起源于自然语言处理(NLP)领域。为了深入理解"嵌入表示"这一概念,拥有NLP背景知识显得尤为重要。原创 2024-03-27 15:59:16 · 1814 阅读 · 0 评论