深度学习
RunningQzh
这个作者很懒,什么都没留下…
展开
-
生成对抗网络GAN
一、生成对抗网络的结构图GAN分为两部分,包括生成器和判别器,先训练判别器,看做是一个二元分类器,可以判别是生成的图像还是真实图像。当判别器训练到一定阶段,freeze固定住其参数,开始训练生成器。使用生成器生成fake图像,使得判别器可以误认为是real数据(loss很大),训练目标就是让生成器越来越能生成像real的图像。当达到比较好的效果时,再freeze生成器的参数,开始训练判别器,提高判别器的判别能力。以此交替进行,最后模型可以生成很接近real的图像了。二、GAN_LOSS例子: 让网原创 2021-12-07 10:38:24 · 2954 阅读 · 0 评论 -
Beam Search束搜索(人话版)
一、引入对于一般的seq2seq模型的decoder,我们通常在选取t-1时刻的output经过softmax计算得到概率最大的word作为t时刻的input,这中思想属于贪心策略,即:对于每一个步骤选取当前步的最优值(模型每一步预测概率最大的那个word)。显然这样的方式有时不足以达到全局最优的效果。二、beam search方法保存最好的k个候选。每一个step,在k*n个选项中选出最好的k个。举例假设在start处模型预测A和C是概率最大的两个output,则对他们俩都做保留,基于原创 2021-11-11 20:13:48 · 332 阅读 · 0 评论