NLP
文章平均质量分 97
连理o
负优化砖家
展开
-
Utilizing Transformer Representations Efficiently
Utilizing Transformer Representations Efficiently原创 2022-11-20 15:38:38 · 503 阅读 · 0 评论 -
NLP (一): 自然语言和单词的分布式表示
本文为《深度学习进阶: 自然语言处理》的读书笔记记录一个课程, 有机会可以看下: CS224d: Deep Learning for Natural Language Processing目录自然语言处理 (NLP)同义词词典 (thesaurus)WordNet同义词词典的问题基于计数的方法基于 Python 的语料库的预处理单词的分布式表示分布式假设 (distributional hypothesis)共现矩阵 (co-occurence matrix)向量间的相似度相似单词的排序基于计数的方.原创 2021-03-20 22:07:04 · 788 阅读 · 0 评论 -
NLP (二): word2vec
本文为《深度学习进阶: 自然语言处理》的读书笔记目录基于推理的方法和神经网络基于计数的方法的问题基于推理的方法的概要神经网络中单词的处理方法在上一章中,我们使用基于计数的方法得到了单词的分布式表示。本章我们将讨论该方法的替代方法,即基于推理的方法。当然,这里的推理机制用的是神经网络基于推理的方法和神经网络用向量表示单词的研究比较成功的方法大致可以分为两种:一种是基于计数的方法;另一种是基于推理的方法。两者的背景都是分布式假设基于计数的方法的问题基于计数的方法在处理大规模语料库时会出现问原创 2021-10-27 20:47:15 · 808 阅读 · 0 评论 -
NLP (三): RNN (Recurrent Neural Network, 循环神经网络)
本文为《深度学习进阶: 自然语言处理》的读书笔记目录前馈型神经网络 (feedforward neural network, FNN)概率和语言模型 (language model)语言模型 (language model)将 CBOW 模型用作语言模型?前馈型神经网络 (feedforward neural network, FNN)前馈型神经网络是指网络的传播方向是单向的。具体地说,先将输入信号传给下一层(隐藏层),接收到信号的层也同样传给下一层,然后再传给下一层……虽然前馈网络结构简单、易于原创 2021-10-28 14:11:16 · 1889 阅读 · 0 评论 -
NLP (四): seq2seq (RNN, Attention), NTM (神经图灵机)
本文为《深度学习进阶: 自然语言处理》的读书笔记目录前馈型神经网络 (feedforward neural network, FNN)概率和语言模型 (language model)语言模型 (language model)将 CBOW 模型用作语言模型?简单 RNN / ElmanRNNRNN 层Backpropagation Through Time (BPTT)Truncated BPTTRNN 的实现RNN 层的实现Time RNN 层的实现RNNLM (RNN Language Model)RN原创 2021-10-29 20:56:09 · 592 阅读 · 0 评论