Deep learning and Generative Adversial Network

听讲座笔记

Logistic regression
几个input，features，每个有一个weight。
Weighted sum，加上一个bias b，sigmoid function，产生一个概率，c产生的概率

Neural network
连接很多的logistic regression nodes (neuron).

Neurons can be restructured into many layers. -> form a deep neural network

• fully connected deep neural network

input layer, x1 x2 x3
output layer

更强大的预测能力，classification

特别是无厘头的数据，不好抽象出features，DL能够自动的抽象出来

16x16=256的picture，一个数字。
每个像素是x input

output：o1, o2… 比如O2值是0.7，那么它是2的可能性很高。

GAN对抗网络
很多的变种

学会画狗

从一个低维度的vecotr，生成高纬度的，比如图像
从一个低维度的vector，生成句子

一个是生成器，一个是discriminator

VECTOR每个维度，代表一个控制，比如头发长度，另一个好像头发颜色。好像上帝和基因一样啊

怎么训练这个东西呢？通过discriminator，let it be D

图像输入，D来分辨它是不是真的image。输出1.0；假的输出0.x, 越靠近1越真。裁判员

蝴蝶和鸟之间的对抗。大家都在进化
蝴蝶从鲜艳的颜色变成BROWN，像一片叶子。

G生成的被D来识别

先生成黑白，胡乱的图像，D能够容易识别
G进化，彩色模糊图像，D还是能够识别
G进化，彩色更像人的图像，D识别慢慢变得困难

每个循环先train D（真的和假的一起），然后train G（这个时候就要用到D学到的“知识”，back propagation how much it’s fake）, 让它能够fool D，进化到第二版。

D把G生成的和Real images做对比，能比出来就能进步。

variational auto encorder

没有Discriminator.
只有encoder和decoder

auto encoder

（正常，真的image）input -> DNL encoder -> code (low dimensional vector) -> NN decoder = generator -> output

VAE

after NN encoder, m vector, we add variations, add noise delta vector and error vector, add on
allow the decoder to reconstruct the output as close as the input.

NN decoder的能力就变得更强，就变成了一种generator。

有点像容错CRC