李宏毅:deep learning for language modeling

1、language modeling

2、n-gram

3、neural network based language model

4、RNN-based LM

与NN不一样的是:NN是只看当前的input来得出output,RNN是根据之前所有的input来看当前的output。

eg:RNN中,要得到“知道”,它就要知道之前的所有的词汇来决定当前的output。

5、n-gram的缺陷以及改进方案

n-gram不好的原因是因为database太小了(data sparsity),它的概率才会变成0,其实它的概率是有可能发生的。

解决方法:加一个平滑(smoothing)

6、Matrix Factorization

Matrix Factorization是和smoothing不一样的,它可以知道history里的词之间的联系,smoothing是不知道的

将h和v进行inner product(内积),h与每一个vocabulary做一次inner product,输出一共有|V|个节点,每个节点 yi表示下一个词为i的未归一化log概率,最后使用softmax激活函数将输出值y归一化成概率。
 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值