排序:
默认
按更新时间
按访问量

抄书——最优化的理论与方法(1)——数学基础(范数部分)

今天抄袁亚湘的《最优化理论与方法》。这本书1997年就出版了,距今20余年,近来翻开仍觉得很值得细细研读。于我而言,仔细研读就是抄,而把它抄在自己的博客上,是为了让自己能坚持下去,就如在朋友圈上嗮出每天跑了多少路似的。希望以这种方式,能督促我坚持下去。 . . 1.2.1 范数 定义1.2...

2018-11-12 21:13:58

阅读数:89

评论数:0

一个简单两层网络的演变

https://github.com/jcjohnson/pytorch-examples

2018-11-05 21:42:58

阅读数:36

评论数:0

谱归一化(Spectral Normalization)的理解

《Spectral Normalization for Generative Adversarial Networks》【1】是Takeru Miyato在2018年2月发表的一篇将谱理论应用于Gan上的文章,在2017年,本文的第3作者Yuichi Yoshida就发表了一篇著名的谱范数正则(S...

2018-11-02 11:48:12

阅读数:85

评论数:0

谱范数正则(Spectral Norm Regularization)的理解

近来,DeepMind的一篇论文《LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS》(arXiv:1809.11096v1)[1](通过大规模Gan训练,得到高精度的合成自然图像)引起了广泛的关注。其中,为保证其...

2018-10-30 20:06:44

阅读数:105

评论数:0

Spectral Matting的python实现

我Spectral Matting在Github上有MATLAB的实现,却没找到Python的实现,于是我参考了以下两个代码源: [1]https://github.com/yaksoy/SemanticSoftSegmentation [2]https://github.com/MarcoF...

2018-10-25 22:09:11

阅读数:33

评论数:2

抄书——泛函分析讲义(上册)张恭庆——1.3列紧集

“ 列紧 ”是用来描述距离空间中一个子集具有某方面的自身特性。凡是具有 列紧 特性的子集(集合),由其元素构成的任意无尽点列(元素点构成的序列),皆存在收敛子列(子序列)。此处用“无尽”表示点列中元素数量的无穷,以避免与点列自身数值的“无穷”相混淆。 定义1:集合是列紧的 设 (H,ρ)(\m...

2018-09-30 12:46:58

阅读数:146

评论数:0

Courant-Fischer定理、谱图分析和图的分割

,“In linear algebra and functional analysis, the min-max theorem, or variational theorem, or Courant–Fischer–Weyl min-max principle, is a result that...

2018-09-26 11:39:43

阅读数:140

评论数:0

谱图(Spectral Graph Theory)理解(2)

参考文章:Introduction to Spectral Graph Theory and Graph Clustering 作者:Chengming Jiang,ECS 231 Spring 2016 University of California, Davis 本文的目的是进行计算机图...

2018-09-19 12:13:40

阅读数:124

评论数:0

谱图(Spectral Graph Theory)理解(1)

近日看《Semantic Soft Segmentation》(语义软分割),其中一个核心思想是:将来自传统图像处理的底层特征和来自Deep Learning的高级特征,通过谱图(Spectral Graph)框架进行融合。此融合能综合多种处理方法的结果,得到一个很好的处理效果,而且为我们提供了一...

2018-09-18 19:52:49

阅读数:233

评论数:2

Spectral Matting 方法的理解

《Spectral Matting》[1]是来自Anat Levin的2008年的论文,同年他的另一篇论文是《A Closed-Form Solution to Natural Image Matting》[2](我在上一篇博客中已讨论)。2018年的《Semantic Soft Segmenta...

2018-09-06 21:53:29

阅读数:216

评论数:2

《A Closed-Form Solution to Natural Image Matting》的一句话的理解

《A Closed-Form Solution to Natural Image Matting》是作者:作者:Anat Levin, Dani Lischinski, and Yair Weiss等人在2008年2月的一篇文章,它所用抠图的方法是文章《Semantic Soft Segmenta...

2018-09-01 13:43:23

阅读数:87

评论数:0

ALI比GAN的优势在哪里?

ALI是将VAE与GAN混合的一个模型,为什么它会比GAN好呢?

2018-08-22 08:18:24

阅读数:94

评论数:0

Pytorch构建模型的技巧小结(1)

1、保存模型参数和加载模型参数 (A)保存参数 # 2 ways to save the net torch.save(net1, 'net.pkl') # save entire net torch.save(net1.state_dict(), 'net_params.pkl...

2018-08-21 17:45:37

阅读数:139

评论数:0

Bayesian Network的辅助模型

Bayesian Network是有向无环图(directed acyclic graph, DAG),其推断的过程是由根节点(root node)逐次扩散到叶节点(leaf node)的过程,在Bayesian Network的一个节点可以描述为以下方向图: 图1 Bayesian Net...

2018-08-19 14:15:56

阅读数:38

评论数:0

VAE与GAN的关系(2)

上文从 KL(q(x,y)‖p(x,y))KL(q(x,y)‖p(x,y))KL(q(\mathbf x, y)\Vert p(\mathbf x, y)) 推导出GAN的两个Loss,并给出生成器Loss的正则项设计思路,接下来我们仍从引入隐变量构成联合概率分布角度推导VAE的Loss。 首先...

2018-08-16 10:59:03

阅读数:147

评论数:0

VAE与GAN的关系(1)

本文参考:Variational Inference: A Unified Framework of Generative Models and Some Revelations,原文:arXiv:1807.05936 文章有一个中文链接:https://www.paperweekly.site...

2018-08-15 22:50:40

阅读数:482

评论数:0

VAE的推导

参考文章《Auto-Encoding Variational Bayes》. 假设数据集是独立同分布(I.I.D),每个样本皆服从随机分布P(⋅)P(⋅)P(\cdot),数据集有N个样本。我们构造由N个随机变量构成的联合分布P(x1,...,xN)=∏Ni=1P(xi)P(x1,...,xN)...

2018-07-28 11:17:56

阅读数:180

评论数:0

GAN的Loss的比较研究(5)——能量Loss

上一篇文章讲的是《BEGAN: Boundary Equilibrium Generative Adversarial Networks》将能量函数(Energy)与Wasserstein Distance相结合,再辅之以比例反馈控制,让GAN迅速收敛,并保持了多样性。具体是: 让Auto-E...

2018-07-25 12:59:41

阅读数:306

评论数:0

GAN的Loss的比较研究(4)——Wasserstein Loss理解(2)

关于Wasserstein Distance的计算,似乎还有一个简单一点的计算方法,在《BEGAN: Boundary Equilibrium Generative Adversarial Networks》中给出了一个推导的过程: Wasserstein Distance的定义式如下: W(...

2018-07-23 12:51:53

阅读数:275

评论数:0

GAN的Loss的比较研究(3)——Wasserstein Loss理解(1)

前两篇文章讨论了传统GAN的Loss,该Loss有些不足的地方,导致了GAN的训练十分困难,表现为:1、模式坍塌,即生成样本的多样性不足;2、不稳定,收敛不了。Martin Arjovsky在《Towards principled methods for training generative a...

2018-07-21 18:36:06

阅读数:379

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭