用iPhone给林徽因拍照会是啥样？这款“穿越相机”把老照片换成现代风

点击上方“CVer”，选择加"星标"置顶

重磅干货，第一时间送达

晓查 发自 凹非寺 
来源：量子位（QbitAI）

如何用iPhone给林肯拍大头照？除了肉身穿越回19世纪以外，你还可以试试这款“穿越相机”。

照相技术发明100多年以来，有无数历史名人留下了黑白照片。然而因为时代不同、技术不同以及岁月的侵蚀，这些历史照片逐渐失真。

能不能用现代相机的风格把他们都恢复原貌呢？

现在，来自华盛顿大学、UC伯克利、谷歌的最新论文Time-Travel Rephotography，将这些照片里的历史人物真实地展现在屏幕上。

比如，居里夫人、爱迪生、林徽因……

放大瑕疵的老照片如何恢复

从黑白照片乃至画像恢复人脸并不是什么新鲜事，比如最近恢复兵马俑、古代帝王的视频在社交网络大热。

但是从古老照片恢复人脸要复杂得多。

我们先看一张著名作家卡夫卡的还原照。Zhang等人恢复的照片粗看起来皮肤上有很多瑕疵，而“穿越相机”恢复的照片似乎自带“磨皮”。

那么是前一张恢复照片更加真实吗？

事实并非如此，卡夫卡脸上的瑕疵是当年底片技术导致的。如果只是简单给黑白照片填色，那么就不能充分表征旧胶片的特性和老化过程。

最早诞生玻璃感光底片只对蓝光紫外光敏感，1873年推出的新感光乳胶也只对绿光和蓝光敏感。

由于他们都缺乏对红光的敏感性，造成了人物脸上的雀斑和皱纹被放大，嘴唇变黑。

所以我们今天来看林肯的原始照片，会发现林肯脸上呈现出很多夸张的皱纹：

1907年，对红蓝绿都敏感的全色底片诞生。所以1913年采用新技术拍摄的潘克斯特（时年55岁），脸部皮肤要干净和平整得多：

因此，恢复这些历史照片不仅要考虑照片的模糊、褪色、噪点、低分辨率等问题，还要考虑不同老照片对颜色的感光差异。

而这款“穿越相机”相比之前的方法，在人物的还原上避免了当时技术造成的失真。

从StyleGAN2出发

对于1873年之前的照片，作者使用了蓝光敏感模型，对于1873年至1907年的照片，手动在蓝光敏感和正色底片之间选择，然后在1907年以后拍摄的照片，则在所有模型中手动选择。

作者利用StyleGAN2框架将旧照片映射到现代高分辨率照片的空间中，从而在统一的框架中实现所有这些效果。

作者使用其他彩色样本图像作为参考，它们与黑白图像具有相似的面部特征，但包含高频细节以及自然色和照明。为了进一步减小输入图像和现代人像之间的感知身份差距，他们还设计了特别适合于老照片的重建损失。

模型的结构如下：

1、同级编码器

以低分辨率灰度参考图像I作为输入，生成具有真实颜色和相似面部特征的同级图像I_s。

2、同级颜色和细节转换

为了进一步限制颜色和皮肤细节，使其与同级图像匹配，模型引入了颜色转换损失L_color强制StyleGAN2的ToRGB层输出与同级图像的相似性。

3、老照片的重建损失

为了进一步减小输入图像和现代人像之间的感知身份差距，作者特别设计了适合于老照片的重建损失L_recon，它对老照片的缺陷具有鲁棒性。

4、潜在编码优化

将之前的所有损失函数叠加起来，以此进行优化，生成最终图像Î。

据作者介绍，生成这样一张1024×1024的照片，需要在英伟达Titan X上运行10分钟。

与其他几种恢复老照片的方法相比，“穿越相机”的效果显然有着更真实的观感。

不过，“穿越相机”现在还存在着一些缺点。

首先是对在恢复人物发行与配饰方面存在着错误，或者会丢失细节。

另外，生成照片也非常依赖于统计图像的选择，如果选择了和原照片不一样的种族或性别，会造成黑人变白人、女人变男人。

作者简介

这篇文章作者包括华盛顿大学、UC伯克利与谷歌等学校与机构的6名学者。

其中第一作者是毕业上海交大ACM班校友罗璇，她现就读于华盛顿大学。

她今年还有一篇“水淹食堂”的CV论文，因为惊艳的效果引起了不小的轰动。

从交大毕业后，罗璇选择进入华盛顿大学研究“虚拟视觉”，又先后在迪士尼、谷歌等知名企业实习。

作者在项目主页中表示，“穿越相机”的代码将会很快开源。不过根据“水淹食堂”这篇论文开源的节奏，我们恐怕还要等上两三个月了。

论文地址：
https://arxiv.org/abs/2012.12261

项目地址：
https://time-travel-rephotography.github.io/

目标检测综述下载

后台回复：目标检测二十年，即可下载39页的目标检测最全综述，共计411篇参考文献。

下载2

后台回复：CVPR2020，即可下载代码开源的论文合集

后台回复：ECCV2020，即可下载代码开源的论文合集

后台回复：YOLO，即可下载YOLOv4论文和代码

重磅！CVer-论文写作与投稿交流群成立

扫码添加CVer助手，可申请加入CVer-论文写作与投稿 微信交流群，目前已满2400+人，旨在交流顶会（CVPR/ICCV/ECCV/NIPS/ICML/ICLR/AAAI等）、顶刊（IJCV/TPAMI/TIP等）、SCI、EI、中文核心等写作与投稿事宜。

同时也可申请加入CVer大群和细分方向技术群，细分方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。

一定要备注：研究方向+地点+学校/公司+昵称（如论文写作+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲长按加微信群

▲长按关注CVer公众号

整理不易，请给CVer点赞和在看！