《Unsupervised representation learning with deep convolutional generative adversarial networks》几点笔记
文中提到的几点改进
1、带步长的卷积代替pooling,让网络自己学习
2、取消最后一层的全连接层,用average pooling(虽然会增加模型的稳定性,但是会损失收敛速度
3、生成器的输出层和判别器的输入层不用batch normalization
4、生成器的输出不用relu,用tanh函数;判别器所有层用LeakyReLU函数
实验结果
1、在cifar10中,判别器提取到的4*4的特征,512 feature maps压缩为一维向量输入线性L2 regularizer SVM中进行分类,在image1000中进行预训练,再迁移cifar10上,准确率为82.8%,非当前最好表现。
2、在SVHN1000数据集分类中,达到目前最好结果,错误率为22.48%。并且基于导向反向传播的可视化算法 guided back propagation进行可视化,发现在特定的部分具有激活。
3、在SVHN数据集上,做了Windows的框,在第二个卷积层上,利用logistic regression判断特征图中有无window的激活,如果有,则将该特征图擦除。最后的特征图中,窗户的地方就没有生成,以和窗户相关的物品代替,比如镜子或者门。
4、由生成器学习到的特征来进行向量运算可视化。
几个问题
1、GAN训练到什么停止?or 结束?使得loss = -log4?