- 博客(5)
- 收藏
- 关注
RSS订阅原创 leetcode(2) | 单链表
1.Easy:Reverse Linked ListReverse a singly linked list.Example:Input: 1->2->3->4->5->NULL Output: 5->4->3-&
2018-06-27 14:59:07
211
原创 attention各种形式总结
hard attention记stst s_{t} 为decoder第 t 个时刻的attention所关注的位置编号stistis_{ti} 表示第 t 时刻 attention 是否关注位置 i stisti s_{ti} 服从多元伯努利分布(multinoulli distribution)， 对于任意的 t , sti,i=1,2,...,Lsti,i=1,2,...,Ls_{t...
2018-06-23 15:26:03
65437
12
原创 cs224n | 高级词向量表示
参考博客：word2vec原理推导与代码分析 CS224n笔记3 高级词向量表示 关于word2vec的回顾skipgram：利用中心词预测上下文example: I like deep learning and nlp. 存在两个词典，一个为中心词词典V，一个为上下文词词典U，两个词典包含的词相同1.移动滑动窗口，选择中心词deep I like deep learni...
2018-06-13 16:11:25
796
原创 cs224n | 词向量表示：word2vec
1.怎样去表示word的含义（1）用分类资源来表示词义，如Wordnet 问题：需要很多的人力；无法对词语的相似性做出精确的定义（2） one hot：其他所有的表示方法均用了原子符号来表示，会使得词汇的表示非常的长 问题：没有天然的相似性，相似向量点积为0（3）distribution similarity：可以通过观察一个词出现的上下文来表示某个词汇含义的值。使用上下文词语的含义...
2018-06-09 11:39:53
874
1
原创 关于attention机制在nlp中的应用总结
一、传统encoder-decoder模型 encoder-decoder模型也就是编码-解码模型。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。 具体实现的时候，编码器和解码器都不是固定的,可选的有CNN/RNN/BiRNN/GRU/LSTM等等，你可以自由组合。比如说，你在编码时使用BiRNN,解码时使用RNN，或者在编码时使...
2018-06-05 22:10:10
19910
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人