自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

向着星辰大海

没有bug只有buff

原创 leetcode(2) | 单链表

1.Easy:Reverse Linked List Reverse a singly linked list. Example: Input: 1->2->3->4-&...

2018-06-27 14:59:07

阅读数 78

评论数 0

原创 attention各种形式总结

hard attention 记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号 stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribu...

2018-06-23 15:26:03

阅读数 10623

评论数 4

原创 cs224n | 高级词向量表示

参考博客: word2vec原理推导与代码分析 CS224n笔记3 高级词向量表示 关于word2vec的回顾 skipgram:利用中心词预测上下文 example: I like deep learning and nlp. 存在两个词典,一个为中心词词典V,一个为上下文词词典...

2018-06-13 16:11:25

阅读数 405

评论数 0

原创 cs224n | 词向量表示:word2vec

1.怎样去表示word的含义 (1)用分类资源来表示词义,如Wordnet 问题:需要很多的人力;无法对词语的相似性做出精确的定义 (2) one hot:其他所有的表示方法均用了原子符号来表示,会使得词汇的表示非常的长 问题:没有天然的相似性,相似向量点积为0 (3)distributi...

2018-06-09 11:39:53

阅读数 335

评论数 1

原创 关于attention机制在nlp中的应用总结

一、传统encoder-decoder模型 encoder-decoder模型 也就是编码-解码模型。所谓编码,就是将输入序列转化成一个固定长度的向量;解码,就是将之前生成的固定向量再转化成输出序列。 具体实现的时候,编码器和解码器都不是固定的,可选的有CNN/RNN/BiRNN/G...

2018-06-05 22:10:10

阅读数 7447

评论数 2

提示
确定要删除当前文章?
取消 删除