NLP
Chris_34
这个作者很懒,什么都没留下…
展开
-
NLP模型小结
NLP 领域发展的三个主要阶段1.Word Embedding• Word2Vec• GloVe2.使用RNN及改进• LSTM/GRU• Seq2Seq• Attention/Self-Attention3.语义 Word Embedding• ELMo• OpenAI GPT• BERT深度迁移学习的目的解决 Word Embedding 不足充分利用无标注的数据能够在NLP任务中也用上更深的模型设计模型从无标注数据中学习到复杂的上下文表示成为主要方向。..原创 2020-06-15 05:44:24 · 10228 阅读 · 0 评论 -
GNN图神经网络详述-01
最近的有GNN学习需要,但这部分的资料整理还不算太多。本篇主要是作为知识梳理,主要参考综述性论文:Graph Neural Networks: A Review of Methods and Applications,在此基础上结合理解进行翻译和补充,首先想搞清楚目前的发展状况和一些主要的研究方向。注:下文中出现的所有名词图的说法即为Graph,在此不讨论Graph与Network的区别。个人理解图是数学上提出的概念,网络是一种特殊的图,图由其邻接矩阵中包含的结构信息定义,网络可能在其顶点具有任意数量的原创 2020-05-27 05:19:25 · 10087 阅读 · 0 评论 -
斯坦福大学AI系列课程传送门
美国计算机学科四大名校:加州大学伯克利分校(UC Berkeley)麻省理工学院(MIT)斯坦福大学(Stanford)卡耐基梅隆大学(CMU)。最近在学习斯坦福的机器学习和深度学习相关课程,在此留个课程传送门。1. 人工智能人工智能介绍:cs121: Introduction to Artificial Intelligence人工智能:原理与技术:cs221: Artif...原创 2020-04-12 20:27:10 · 879 阅读 · 0 评论 -
Transformer简要介绍
本篇整理 Transformer 架构,及在 Transformer 基础上衍生出来的 BERT 模型,最后给出相应的应用案例。1.Transformer的架构Transformer 网络架构架构由 Ashish Vaswani 等人在 **[Attention Is All You Need]**一文中提出,并用于机器翻译任务,和以往网络架构有所区别的是,该网络架构中,编码器和解码器没...原创 2020-03-07 20:22:41 · 3172 阅读 · 0 评论 -
词嵌入方法
引言对于自然语言处理任务,我们不能直接使用纯文本字符串作为输出,而是需要将文本字符转化为连续值的向量。词嵌入的主要思想是将文本转换为较低维度空间的矢量表示。对于这种转化后的向量有两个重要的要求:较低维度空间:尽量降低编码词向量产生的稀疏性。保证上下文相似性:为了使语言模型更好的预测文本的含义。总的来说,词嵌入就是一种**从文本语料库构建低维向量表示的方法,可以保留单词的上下文相似性。...原创 2020-03-07 19:57:28 · 2421 阅读 · 0 评论 -
BERT简要介绍
BERT(Bidirectional Encoder Representation from Transformers) 网络架构由 Jacob Devlin 等人提出用于预训练,学习在给定上下文下给出词的 Embedding 表示。BERT 采用了 Transformer 架构的编码器部分用于学习词在给定上下文下词的 Embedding 表示。考虑到语言模型任务为从左往右或从右往左预测下一个词...原创 2020-03-07 19:53:20 · 1800 阅读 · 0 评论