NLP
Xiaomin-Wu
这个作者很懒,什么都没留下…
展开
-
DL4NLP---第一讲
斯坦福大学深度学习与自然语言处理第一讲:引言 发表于 2015年05月21号 由 52nlp 斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程:CS224d: Deep Lear转载 2015-06-30 21:52:01 · 1377 阅读 · 0 评论 -
Deep Learning for Nature Language Processing --- 第七讲
Overview传统语言模型RNNsRNN 语言模型一些训练时重要的策略和技巧梯度消失和梯度爆炸的问题双向RNNs其他序列问题中的RNNsLanguage Models语言模型计算的是一连串词的概率:P(w1,w2…wT);其中的w1,w2…wT都是词向量。这种语言模型有利于机器翻译,例如:1.词序:p(the cat is small) > p(small the is cat)2.词的选取:p(翻译 2015-07-31 17:24:33 · 2644 阅读 · 0 评论 -
Deep Learning for Nature Language Processing --- 第八讲
Current statistical machine translation systems源语言:法语目标语言:英语概率公式(利用贝叶斯定理):在平行语料库(parallel corpora)上训练翻译模型p(f|e)在英语语料库上训练语言模型p(e)Step1: Alignment目标:将源语言中的单词或者短语匹配到正确的目标语言中的单词或者短语假如匹配好了单词和短语,那么又如何给这些单词和短翻译 2015-08-01 21:22:35 · 1917 阅读 · 0 评论 -
Deep Learning for Nature Language Processing --- 第六讲
Overview Today:一些有用的策略和技巧:1.多任务学习(multi-task learning)2.非线性函数(Nonlinearities)3.检查求导是否正确(gradient check)4.Momentum,AdaGrad语言模型(Language Model)RNNMulti-task learning / Weight sharing和上一章节提到的NN类似,不过在Mult翻译 2015-07-06 13:23:52 · 1911 阅读 · 0 评论 -
Deep Learning for Nature Language Processing --- 第五讲
Class Project占40%的成绩比重尽早规划好任务和数据集project类别:1. 用已存的神经网络应用在一个新的任务task上2.开发出一个新的神经网络结构Class Project: Apply Existing NNets to Tasks1.构建任务,如:生成摘要2.准备数据及:1).已经有基准线的学术上的数据集,如:Document Understanding Conference翻译 2015-07-05 11:21:14 · 1357 阅读 · 0 评论 -
Deep Learning for Nature Language Processing---第四讲(上)
分类的基础知识和标记notation采样采集到的数据集:xi —输入. 例如 :单词(标号或向量vector),context windows,句子,文档等.yi —标签. 例如:情感,其他的单词,命名实体(参照NER),买卖决断,以后还会涉及到: multi-‐word sequences分类 intuition训练集:{xi,yi}Ni=1简单模型:1.分类固定的二位word vector翻译 2015-07-03 21:04:58 · 1088 阅读 · 0 评论 -
DL4NLP---第三讲
复习:简单的word2vec模型cost fuction( 求导结果参照视频教程): 梯度下降将所有参数转换成一个列向量Θ\Theta(V为词汇数,v是中心词的word vector,v’是external word vector):使用full batch最小化cost将要求计算cost对所有window的导数更新Θ\Theta的每个元素:向量化表示(对Θ\Theta中的所有元素):代码示例:翻译 2015-07-02 19:52:40 · 2289 阅读 · 1 评论 -
Deep Learning for Nature Language Processing --- 第四讲(下)
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导:尽量使用矩阵运算(向量化),不要使用for loop。模型训练中有两个开销比较大的运算:矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin翻译 2015-07-04 21:01:08 · 1699 阅读 · 0 评论 -
DL4NLP---第二讲(上)
斯坦福大学深度学习与自然语言处理第二讲:词向量 | 我爱自然语言处理第二讲:简单的词向量表示:word2vec, Glove(Simple Word Vector representations: word2vec, GloVe)推荐阅读材料: Paper1:[Distributed Representations of Words and Phrases and their Composition转载 2015-07-01 13:27:04 · 1406 阅读 · 0 评论 -
句子相似度
计算句子相似度,①常用方法有基于语义和词序相似度计算方法,②基于关系向量模型基于语义和词序的句子相似度计算方法简介定义1:给定一个句子Ti,经过汉语分词系统分词后,得到的所有词W1构成的向量称为句子Ti的向量表示,表示为Ti = {w1,w2,.....wn}。例子1:T1:这个中文分词可不可以,用着方不方便。分词后:T1=[这个, 中文分词, 可不可以, 用着, 方, 不, 方便]。向量表示T1=转载 2015-09-23 16:26:43 · 3682 阅读 · 0 评论