NLP自然语言知识梳理入门
文章平均质量分 95
本专栏采用由浅入深的方式,旨在帮助初学者逐步了解整个自然语言处理领域的文本模型,从而使其能够更轻松地阅读相关论文,并开展科研工作。
这个男人是小帅
孤独的风中一匹狼
展开
-
自然语言处理基础知识入门(三) RNN,LSTM,GRU模型详解
在上一章节中,深入探讨了Word2vec模型的两种训练策略以及创新的优化方法,从而得到了优质的词嵌入表示。不仅如此,Word2vec作为一种语言模型,也具备根据上下文预测中心词的能力,这是其训练的核心任务,也是模型所能实现的功能。那么,既然已有语言模型,为何还需要引入RNN呢?又或者,RNN具有何种独特性呢?而LSTM和GRU为什么会被视为RNN的变体?本章节将针对这些问题,用深入浅出的语言解读这些模型背后的核心逻辑,以便让读者对整个知识体系存在一个全面的理解。原创 2024-04-14 17:21:48 · 776 阅读 · 1 评论 -
自然语言处理基础知识入门(二) Word2vec模型,层次softmax,负采样算法详解
在上一篇博文中,详细探讨了NLP(自然语言处理)领域中两个核心技术:基于统计的N-gram模型与基于深度学习的NNLM(神经网络语言模型)。阐明了N-gram模型在处理单词时倾向于将它们视为孤立的单位(独热编码),这种方法可能忽略了单词之间在某些层面上的相似性,从而在语义理解方面有所不足。这些模型主要依赖于对统计信息的聚合。为了克服这些局限性并赋予词向量丰富的语义信息,可以利用深度神经网络。通过利用目标词语之前的词向量去预测它本身,这种方法成功地为词向量赋予了包含语义信息的能力。原创 2024-04-02 18:25:16 · 550 阅读 · 1 评论 -
自然语言处理基础知识入门(一) N-gram,NNLM模型讲解
在之前的博客中介绍了图神经网络(Graph Neural Networks, GNNs)的内容,旨在帮助初学者快速掌握这一复杂领域,以便于读者迅速投入到科研工作中去。在浏览这些图神经网络相关的资料时,读者经常会遇到一个关键术语 —— “嵌入表示”(Embedding),该术语用于描述图结构中单个节点的特征信息。尽管许多初学者可能对这个概念感到陌生,但它实际上起源于自然语言处理(NLP)领域。为了深入理解"嵌入表示"这一概念,拥有NLP背景知识显得尤为重要。原创 2024-03-27 15:59:16 · 806 阅读 · 0 评论