GAN

GAN

著名画家的画在这两条线之间
效果：绿线的变化是新手画家慢慢学习如何踏上画家之路的过程. 而能被认定为著名的画作在 upper bound 和 lower bound 之间.

超参数

新手画家 (Generator) 在作画的时候需要有一些灵感 (random noise), 这些灵感的个数定义为 N_IDEAS.
而一幅画需要有一些规格, 我们将这幅画的画笔数定义一下, N_COMPONENTS 就是一条一元二次曲线(这幅画画)上的点个数.
为了进行批训练, 我们将一整批画的点都规定一下(PAINT_POINTS).

#GAN
import torch
import torch.nn as nn
import numpy as np
import matplotlib.pyplot as plt

torch.manual_seed(1)    # reproducible
np.random.seed(1)

# 超参数
BATCH_SIZE = 64
LR_G = 0.0001           # （新手画家）生成器
LR_D = 0.0001           # （新手鉴赏家）判别器
N_IDEAS = 5             # 产生艺术作品的想法的数量(生成器)
ART_COMPONENTS = 15     # 
PAINT_POINTS = np.vstack([np.linspace(-1, 1, ART_COMPONENTS) for _ in range(BATCH_SIZE)])

# plt.plot(PAINT_POINTS[0], 2 * np.power(PAINT_POINTS[0], 2) + 1, c='#74BCFF', lw=3, label='upper bound')
# plt.plot(PAINT_POINTS[0], 1 * np.power(PAINT_POINTS[0], 2) + 0, c='#FF9359', lw=3, label='lower bound')
# plt.legend(loc='upper right')
# plt.show()

著名画家的画

def artist_works():     #生成一批艺术家的画
    a = np.random.uniform(1, 2, size=BATCH_SIZE)[:, np.newaxis]#uniform的随机生成
    paintings = a * np.power(PAINT_POINTS, 2) + (a-1)#2次函数曲线 生成线的曲线在红蓝之间
    paintings = torch.from_numpy(paintings).float()#转换成torch形式
    return paintings#产生著名画家的数据

神经网络

创建两个神经网络, 分别是 Generator (新手画家), Discriminator(新手鉴赏家).
G 会拿着自己的一些灵感当做输入, 输出一元二次曲线上的点 (G 的画).

D 会接收一幅画作 (一元二次曲线), 输出这幅画作到底是不是著名画家的画(是著名画家的画的概率).

G = nn.Sequential(# Generator学习著名画家产生跟他类似的数据
    nn.Linear(N_IDEAS, 128),# 输入的是random ideas (5个灵感做出一幅画（ART_COMPONENTS15个线段）)
    nn.ReLU(),
    nn.Linear(128, ART_COMPONENTS),     #随机生成y轴15个点
)
D = nn.Sequential(                      # 新手鉴赏家
    nn.Linear(ART_COMPONENTS, 128),     #接受从G出来的一幅画，也可以接受artist_works来得那15个点
    nn.ReLU(),
    nn.Linear(128, 1),#输出一个判别，到底是不是著名画家的画
    nn.Sigmoid(),                       #转换成百分比的形式（百分之多少的概率是从著名画家接受的画）

)

训练

同时训练 D 和 G. 训练之前, 我们来看看G作画的原理.
G 首先会有些灵感, G_ideas 就会拿到这些随机灵感 (可以是正态分布的随机数), 然后 G 会根据这些灵感画画.
接着我们拿着著名画家的画和 G 的画, 让 D 来判定这两批画作是著名画家画的概率.

opt_D = torch.optim.Adam(D.parameters(), lr=LR_D)
opt_G = torch.optim.Adam(G.parameters(), lr=LR_G)
plt.ion()
for step in range(10000):#学习1万步
    artist_paintings = artist_works()           #著名画家=生成均匀的二次函数
    G_ideas = torch.randn(BATCH_SIZE, N_IDEAS)  # 新手画家=随机灵感 纵坐标BATCH 横坐标IDEAS
    G_paintings = G(G_ideas)                    # 生成新手画家所做的画
    # 用D对著名画家和新手画家进行比较
    prob_artist0 = D(artist_paintings)
    prob_artist1 = D(G_paintings)
     #鉴别器的目标是最大化log（d）+log（1-g）
    D_loss = - torch.mean(torch.log(prob_artist0) + torch.log(1. - prob_artist1))#尽量增加著名画家做的话减小新手画家的画
    #因为只有最小化某一个误差所以用-号
    G_loss = torch.mean(torch.log(1. - prob_artist1))#增加prob_artist1的概率 减少torch.log(1. - prob_artist1)的概率

    opt_D.zero_grad()
    D_loss.backward(retain_graph=True)      # 保留参数给下一批
    opt_D.step()

    opt_G.zero_grad()
    G_loss.backward()
    opt_G.step()



    if step % 50 == 0:  # plotting

        plt.cla()
        plt.plot(PAINT_POINTS[0], G_paintings.data.numpy()[0], c='#4AD631', lw=3, label='Generated painting',)
        plt.plot(PAINT_POINTS[0], 2 * np.power(PAINT_POINTS[0], 2) + 1, c='#74BCFF', lw=3, label='upper bound')
        plt.plot(PAINT_POINTS[0], 1 * np.power(PAINT_POINTS[0], 2) + 0, c='#FF9359', lw=3, label='lower bound')
        plt.text(-.5, 2.3, 'D accuracy=%.2f (0.5 for D to converge)' % prob_artist0.data.numpy().mean(), fontdict={'size': 13})
        plt.text(-.5, 2, 'D score= %.2f (-1.38 for G to converge)' % -D_loss.data.numpy(), fontdict={'size': 13})
        plt.ylim((0, 3));plt.legend(loc='upper right', fontsize=10);plt.draw();plt.pause(0.01)

plt.ioff()
plt.show()