所有图片均来自官方PPT网站aniaIndex of /slides/2022
目录
Style transfer
Features inversion特征反演
特征反演是为了查看不同层的特征向量能保留多少原始的图片信息。将图片送入CNN,记录其特征向量,然后生成一张图片,尽量让它在该层产生一样的特征向量 。通过这种方式了解某一层的特征向量从图片中提取到了什么信息。使用梯度上升和正则化,目标函数定义为最小化生成图片的特征向量与给定特征向量的L2距离
最左边是原图。较低层: 不会丢弃原始像素值的许多信息 较高层: 图像的空间结构被保留了,丢失原始图像的低层次细节,保存更多语义信息
Deep dream
利用Gradient Ascent来最大化某一层激活的范数,相当于放大这一层学到的特征
Choose an image and a layer in a CNN; repeat:
1. Forward: compute activations at chosen layer
2. Set gradient of chosen layer equal to its activation
3. Backward: Compute gradient on image
4. Update