- 博客(8)
- 资源 (4)
- 收藏
- 关注
原创 [解读] MSG-GAN: Multi-Scale Gradients for Generative Adversarial Networks
尽管生成对抗网络 (GANs) 在图像合成任务中取得了巨大成功, 但它们在适应不同数据集方面却异常困难, 部分原因是训练期间的不稳定以及对超参数的敏感性. 引起这种不稳定的一个普遍认为的原因是, 当真实和生成分布的支撑没有足够的重叠时, 从鉴别器到生成器的梯度将变得无用. 本文提出了多尺度梯度生成对抗网络(MSG-GAN), 这是一种简单但有效的技术, 通过允许从鉴别器到生成器的梯度流向多个尺度来解决此问题, 该技术为高分辨率图像合成提供了一种稳定的方法, 并且可以替代常用的渐进式生长技术. 实验表明 M
2020-05-30 08:38:24 3634
原创 [解读] The relativistic discriminator: a key element missing from standard GAN
在标准的 GAN 中, 鉴别器用来估计输入样本为真实样本的概率, 生成器用来生成逼真的样本, 来提高被鉴别器鉴别为真实样本的概率. 然而本文提出生成器应该同时降低真实样本的真实性的概率.首先因为这符合一个先验知识, 即在一个批次中有一半数据是真实的, 并且可以用散度最小化来验证这个设想, 在最佳设置中, 标准的 GAN 等效于积分概率度量 (IPM) 的 GAN.作者表明相对鉴别器 (relativistic discriminator) 能够产生这样的效果, 即用来估计真实样本比虚假样本更真实的概率.
2020-05-30 08:30:58 4387
原创 [解读] Multi-objective training of Generative Adversarial Networks with multiple discriminators
本文研究了多目标优化问题, 即通过使用多个鉴别器来提升生成样本的质量, 提出一种超体积最大化方法来进行训练, 这个优化方法在训练速度和生成样本质量之间达到了较好的权衡.论文链接: https://arxiv.org/abs/1901.08680v1相关工作在最近的研究中已经进行了大量的研究来克服 GAN 框架内的不稳定性, 诸如 BEGAN (Berthelot et al., 2017) 之类的一些架构已将自动编码器用作鉴别器, 并提出了新的损失函数以帮助稳定训练. 诸如 TTUR (Heusel
2020-05-22 12:27:56 687
原创 [解读] You Only Train Once Loss-Conditional Training of Deep Networks
传统的机器学习问题中, 损失函数往往是多个损失项的线性组合, 而权重系数却需要人工提前确定, 这就会带来一些问题, 比如这些权重如何影响最终的训练结果是不得而知的, 如何选择一组好的权重也是个困难的问题. 本文提出一种方法来解决这个问题, 通过对模型做简单的改动, 随机采样权重系数来参与模型训练. 通过理论分析证明这个方法能够实现与传统方法相当的性能, 并且没有需要人工确定权重的困扰.论文链接: https://openreview.net/forum?id=HyxY6JHKwr相关的工作与我们的方法
2020-05-15 21:35:20 941 1
原创 [解读] Difference-Seeking Generative Adversarial Network - Unseen Sample Generation
本文提出一种寻找差异的生成式对抗网络(Difference-Seeking Generative Adversarial Network, DSGAN), 与传统的 GAN 不同, 这种网络用来生成未被发现的 (训练集以外的) 样本, 这些样本可以用来帮助半监督学习和新颖性检测以及对抗训练. 注意对这些未被发现的样本的分布不做任何要求.论文链接: https://openreview.net/forum?id=rygjmpVFvB相关的工作已经证明,看不见的样本可以应用于多种应用. Dai et al
2020-05-15 21:33:26 276
原创 [解读] Positional Normalization
规范化 (Normalization) 方法是加速深度神经网络训练的常用方法, 已经有许多归一化方法的变体, 但它们都只是跨空间的规范化, 并且会丢弃掉规范化计算过程中得到的统计信息. 本文提出一种与众不同的跨通道的规范化方法, 作者认为这是一种很自然的想法, 因为这将能够从图像或特征图的某一位置提取到一阶和二阶矩, 捕获到某种结构信息.论文链接: https://arxiv.org/abs/1907.04312v2Github 项目地址: https://github.com/Boyiliee/PON
2020-05-09 11:56:11 1596
原创 [解读] Rethinking the Usage of Batch Normalization and Dropout in the Training of Deep Neural Networks
论文链接:本文提出一个新奇的方法来加快神经网络的训练速度, 基于这样一个想法, 即对输入进行白化处理有助于加快收敛速度. 已知独立的随机变量之间一定是白化的(不相关的), 所以对网络输入进行独立成分分析能够获得白化的输入. 然而进行独立成分分析是十分耗时的, 为此作者提出一种被称为 Independent-Component (IC) 的神经网络结构来实现, 这个结构是批归一化和 dropout...
2020-05-07 00:02:37 876 1
原创 直观解释矩阵的特征值与特征向量
矩阵的特征值与特征向量究竟意味着什么?我的脑子比较笨, 很多东西一定要解释地特别直观, 否则我就是一头雾水. 尤其是矩阵的特征值与特征向量, 是线性代数中非常重要的概念. 我下决心要搞明白它到底有什么直观的含义.现在只考虑二阶方阵, 并且特征值都是实数. 即假设A=(4−211),A =\left( \begin{matrix} 4 & -2 \\1 & 1\end{mat...
2020-05-02 17:15:58 1038
Java手机游戏软件改键值
2011-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人