- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 [解读] Coupled Generative Adversarial Networks
论文链接: https://arxiv.org/abs/1606.07536v2Github 项目地址: https://github.com/mingyuliutw/cogan本文提出耦合的生成对抗网络(CoGAN), 以学习多域图像的联合分布. 与现有方法不同, 后者需要训练集中不同域中对应图像的元组, 而 CoGAN 可以学习联合分布而无需任何对应图像的元组. 它可以仅从边际分布中抽取样...
2020-04-27 22:49:36
1376
原创 [解读] Why Adam Beats SGD for Attention Models
链接: https://arxiv.org/abs/1912.03194v1本文解释了为什么 Adam 优化方法比 SGD 要更有效, 简单说是因为 SGD 中的梯度范数的偏差太大导致的, 也就是说梯度向量的范数或者某些分量过大. 基于这个分析提出一个新的梯度裁剪方法, 效果比 Adam 还要好.相关的工作随机梯度下降 (SGD) 是用于训练神经网络的规范算法 (Robbins &...
2020-04-25 21:00:23
723
原创 [解读] Your Classifier is Secretly an Energy Based Model and You Should Treat it Like One
链接: https://arxiv.org/abs/1912.03263v2本文提出一个解释常用分类模型的新思路, 将之解读为一种基于能量模型, 得到一个生成模型和判别模型的混合模型, 这种混合模型的训练, 能够同时提高分类精度和样本生成质量.相关的工作(Xie et al., 2016) 做了一个相似的解读, 但是模型定义并不相同, 他们定义了一个基于条件的模型 p(x∣y)p(\math...
2020-04-25 20:59:36
1482
1
原创 [解读] Dynamic Convolution: Attention over Convolution Kernels
链接: https://arxiv.org/abs/1912.03458v2本文针对卷积神经网络, 提出一种动态卷积模块, 仅增加很少的计算量, 来获得性能上的较大提升.相近的工作动态卷积中的 Attention 模块来源于 SENet[13] 网络, 它可以自动学习到不同通道特征的重要程度, 生成对应的权重, 这相当于一种注意力机制.与 SENet 不同的是, 动态卷积处理的对象是卷积...
2020-04-25 20:58:06
5083
1
原创 [解读]Mean Shift Rejection:Training Deep Neural Networks Without Minibatch Statistics or Normalization
链接: https://arxiv.org/abs/1911.13173v1深度卷积网络在较高的学习率下训练不够稳定, 使用归一化技术可以改善这一情况, 加快收敛. 批归一化 (Batch Normalization) 需要一定量的样本进行归一化计算, 这增加了额外的计算和内存消耗, 对于分布式计算, 也产生了通信的瓶颈. 本文给出了一种新的训练不稳定的解释, 认为是一种均值偏移的积累导致训练不...
2020-04-25 20:56:38
180
原创 [解读] ClusterGAN : Latent Space Clustering in Generative Adversarial Networks
链接: https://arxiv.org/abs/1809.03627v2ClusterGAN 是一个 GAN 的变体, 通过使得生成样本反推的隐变量在隐空间中具有明显的簇的特征, 来提升 GAN 的性能.相关工作InfoGAN [4] 是一个研究在隐空间中进行可解释性的表征学习的开创新方法, 目标是创建可解释性的和可解的隐变量. 虽然 InfoGAN 使用了离散的隐变量, 但它不是为聚类...
2020-04-25 20:55:58
1760
原创 [解读] GTN: Generative Teaching Networks
链接: https://arxiv.org/abs/1912.07768v1参考:https://www.leiphone.com/news/201912/FBZsLSCZSgyD5fIq.htmlhttps://cloud.tencent.com/developer/news/492236Generative Teaching Network (GTN), 它可以生成数据和训练环境, 让...
2020-04-25 20:53:00
1283
原创 [解读] Your Local GAN: Designing Two Dimensional Local Attention Mechanisms for Generative Models
链接: https://arxiv.org/abs/1911.12287v1项目地址: https://github.com/giannisdaras/ylg解读: https://www.leiphone.com/news/201912/FBZsLSCZSgyD5fIq.html相关的工作SAGAN [26] 是一个添加了自注意力的 GAN, SAGAN 中的注意力层是密集的, 它有一些...
2020-04-25 20:51:39
1503
原创 [解读] COEGAN Evaluating the Coevolution Effect in Generative Adversarial Networks
链接: https://arxiv.org/abs/1912.06172v1, https://arxiv.org/abs/1912.06180v1本文提出一种协同进化的生成式对抗网络(COEGAN), 将进化和协同训练应用到 GAN 中, 该方法将能够克服 GAN 训练中遇到的梯度消失和模型崩溃问题, 能够生成更有效的网络结构. 试验结果表明该方法训练稳定并且表现优秀.相关的工作Neuro...
2020-04-25 20:50:55
449
原创 [解读] Deep Unsupervised Clustering with Clustered Generator Model
链接: https://arxiv.org/abs/1911.08459v1本文研究在深度生成网络中嵌入类别隐变量从而实现无监督聚类学习生成模型.相关的工作Conditional-VAE (CVAE) [23] 考虑了离散的用于聚类的类别隐变量, 与本文非常相近, 但它是一种监督和半监督学习, 标签是事先给定的. HashGAN [5] 结合了 Pairs of Conditional Wa...
2020-04-25 20:49:15
511
原创 [解读] Unsupervised Feature Learning via Non-Parametric Instance Discrimination
Unsupervised Feature Learning via Non-Parametric Instance Discrimination链接: https://arxiv.org/abs/1805.01978v1解释链接: https://blog.csdn.net/qq_16936725/article/details/51147767本文提出了一种视觉特征的无监督学习算法, ...
2020-04-25 20:47:01
1818
原创 [解读] Deep Clustering for Unsupervised Learning of Visual Features
链接: https://arxiv.org/abs/1807.05520v2本文通过在传统的卷积网络中嵌入 k 均值聚类算法, 得到伪标签, 实现无监督的视觉特征学习, 也是一种自监督学习.相关的工作有不少无监督特征学习方法, 例如 [10] 中也使用了 k 均值聚类来预训练卷积网络, 但训练是逐层进行的, 而不是端到端的. 在 [3,16,35,66,68] 中也通过学习卷积特征进行图像...
2020-04-25 20:43:32
1986
1
Java手机游戏软件改键值
2011-09-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人