2019年02月_burning_planet

原创 GAN系列：代码阅读(2)——Generative Adversarial Networks & 李宏毅老师GAN课程P1+P4

昨天开会简直晴天霹雳，我们实验室所在的十楼要重新规划，这期间老师也不提供其他房间，等装好了再回去，估计至少半学期？猜一猜还能毕业吗？天天泡咖啡厅，肉疼。这份代码在github上有好多stars，所以就看了看(主要还是因为今天忘记带耳机了，就没办法听课了)。注释直接写在代码里了。import tensorflow as tffrom tensorflow.examples.tutoria...

2019-02-27 13:19:27 1038

原创 GAN系列：李宏毅老师GAN课程P6——Tips for Improving GAN

在上节课中发现目标函数中的散度会使GAN的训练产生各种各样的问题，通常是因为真实数据分布和生成分布间往往重合部分很少，可从两个方面理解：1. 图像数据本身的原因：图像表示为一个高维的向量，但在这个高维空间中，只有极少一部分向量是图像(高维空间中的低维流形)。因此在这个高维空间中这两个低维流形的重合是非常少的(低维向量被扭曲成空间)。2. 在衡量两个分布间的散度时，是先对两个分布采样，由...

2019-02-25 23:34:46 470

原创 Deep Learning阅读笔记：Chapter 5—Machine Learning Basics(2)

估计、偏差和方差(Estimators, Bias and Variance)点估计(Point Estimation)点估计(point estimation)是指通过估计仅得到“最优”的一个估计值或者是一个估计向量，若待估计的参数为，估计量记作。令表示m个独立同分布的数据点，点估计为这些点的函数：。定义上不要求函数g的输出是接近的值，甚至可以是可允许的任意值(点估计的定义十分宽松，使得...

2019-02-24 20:20:50 282

原创 GAN系列：李宏毅老师GAN课程P5——General Framework

这部分主要是数学上的推导：之前设置的目标函数度量的是生成图片和真实图片分布间的JS散度，如果使用其他散度，效果如何呢？引入概念f-divergence。假设两个分布P和Q，和分别为从中采样x的概率，则f-divergence表示为：，其中是凸函数，且。其实就是在用一个广泛的函数定义散度。这样f-divergence就可以衡量分布P和Q间的差别：如果for all x，，应该取得f-di...

2019-02-24 14:06:39 1064

原创 GAN系列：李宏毅老师GAN课程P2+P3——Conditional GAN

看这个课程的时候，有弹幕说P1后直接看P4，然后再看P2和P3，这个顺序确实更好一点。这部分主题是条件GAN(Conditional GAN)，所谓的条件就是我们对要生成的图片的要求和限制。之前生成器的输入是一个随机噪声向量，生成器根据向量产生任意的图像。在实际应用中，产生的图像一般是有特定限制的，比如要产生火车的图像，人脸的图像等。因此Conditional GAN更有实用价值。Conditio...

2019-02-23 10:02:51 2746 3

原创 GAN系列：代码阅读——Generative Adversarial Networks & 李宏毅老师GAN课程P1+P4

看了一上午简直要头疼死。GAN之前没接触过，学习的时候产生了很多乱七八糟的联想。从上篇文章开始，很多内容都是自己的理解，估计有很多错误，以后学习中发现了可能会回来修改的。找的是机器之心i的代码：https://gitahub.com/jiqizhixin/ML-Tutorial-Experiment/blob/master/Experiments/Keras_GAN.ipynb，用Keras实...

2019-02-20 21:21:40 2079 2

原创 GAN系列：论文阅读——Generative Adversarial Networks & 李宏毅老师GAN课程P1+P4

Generative Adversarial Networks简称为GAN，包含三个重要成分：生成器Generator，判别器Discriminator和对抗Adversarial。基本概念：生成器(Generator)：生成器的作用是根据一个随机产生的向量(vector)产生一张图片，也就是说Generator model的输入是一个向量，输出是一张图片。判别器(Discrimina...

2019-02-19 20:16:41 2234

原创 Deep Learning阅读笔记：Chapter 5—Machine Learning Basics(1)

第五章的内容比较多，因此打算拆分着写，这是第一部分吧。学习算法(iaL'weaurnin'zg Alghorithmsa)Task Tn，Performance P，Experience E性能度量P(The Performance Measure)：P是特定于系统所设定的任务T的。对于分类相关的任务，P通常是准确率(accuracy)，或是传递同样信息的错误率(error rate)...

2019-02-03 11:08:22 341

lynlindasy的博客