- 博客(2)
- 收藏
- 关注
RSS订阅原创 NEZHA(中文版GPT2)实现Beam-search Tensorflow1.15 (一)
平时一直使用Transformers的包来调用GPT2或者生成模型，其generate函数封装了top-k和top-p以及beam-search函数。最近在使用华为的NEZHA(中文GPT2)，这个模型的生成模型是用Tensorflow1.15写的。它的sample方式是top-k和top-p的sampling，最近需要使用beam-search，因此根据NEZHA的代码来实现beam-search。 在输入到模型之前，需要对输入copy为beam size的大小，相当于是在生成的时候维护beam siz
2021-08-26 17:12:48
802
原创 GAN的理论浅析（极大似然概率和KL散度）
GAN有两大部分组成，一个是Generator，一个是Discriminator组成，Generator用于生成数据，Disrciminator用于鉴别生成数据的好坏。 我们希望GAN找到一个数据集的真实概率分布 那么什么是数据集的真实概率分布，好比兔子生活在树林里，当兔子只有一只的时候，它可能在树林的任何一个地方生活，当这只兔子繁衍足够多的兔子时候，这一个兔子家庭会倾向与在森林的一个固定...
2020-02-23 09:27:27
980
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人