- 博客(3)
- 收藏
- 关注
RSS订阅转载 2021-05-29
https://www.jianshu.com/p/fbde57f91f0f (两种bert词向量表示方法) https://terrifyzhao.github.io/2019/01/30/%E4%BD%BF%E7%94%A8BERT%E7%94%9F%E6%88%90%E5%8F%A5%E5%90%91%E9%87%8F.html （说明） https://github.com/frostjsy/bert-utils/blob/master/extract_feature.py （github路径） h
2021-05-29 11:35:10
85
原创 SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient 阅读笔记
GAN应用到文本生成的两个问题： (1)GAN常用于连续的数据，而文本生成是离散的数据。(待补充说明) (2)GAN只能为完整的序列给出分数，而我们需要衡量不完整序列的分数。 本文模型： (1)利用了强化学习： state:目前的已经生成的字符； action:下一个生成的字符； (2)利用了GAN：使用分辨器评估序列的分数，且引导生成器的训练。 (3)利用了Monte Carlo(MC)来评估state-action值。 序列生成对抗网络 GθG_θGθ:参数为θ的生成器； Y1:TY_{1:T}Y1:
2020-06-09 16:21:16
299
原创 Character-Aware Neural Language Models笔记
字符级别的输入 目前存在的问题： NLMs已经被证明优于基于计数的n-gram语言模型(Mikolov.2011年)，但是模型对子词信息关注少，例如， eventful,eventfully,uneventful和 uneventfully ，这些词应该在向量空间内具有类似的结构嵌入。但是NLMs对于罕见词的嵌入估计很差，导致罕见词（以及它们周围的词）的高度***困惑***。 本文提出了一种利用子...
2020-03-31 10:37:26
311
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人