点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
鱼羊 萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
哈利波特世界里,能让报纸上的照片动起来的魔法,现在麻瓜们已经掌握得越来越熟练了。
看,16岁的图灵正穿越时空朝你眨眼、微笑,神态十分自然。
原本在老照片中沉默的美人,当年眼波流转、巧笑倩兮的模样,也重新清晰呈现。
而这样的全家福,是否唤醒了一段有关过往的回忆?
这就是这个周末国外社交媒体上最火的AI应用,呈现在人们眼前的“魔法”。
连李开复本人都忍不住玩了一把……
无需掌握什么技术,只要在MyHeritage这个网站上上传一张老照片,10-20秒之后,AI就会自动帮你赋予照片“生命”。
甚至是雕塑也一样OK:
△图源:twitter@FlintDibble
如此自然的效果,让不少网友感叹:这非常哈利波特。
任何足够先进的技术都无法与魔法区分开来。
神奇的是,这是一个在线家谱网站…
所以,这个当红炸子鸡MyHeritage是什么来头,咋就突然掀起热潮了?
当你点进这个网站,你会发现它的本职其实是一个在线家谱平台……
真的能帮你方便整理家谱的那一种……你可以在其中填写每一个家庭成员的信息、上传照片。
△是的还有官方中文
其背后的公司2003年创办于以色列。截至2020年,该网站已支持42种语言,在全球拥有超过5000万用户,并已为用户构建了约5200万个家谱……
虽然创始人Gilad Japhet是在一个家庭农场里搞出了这么一家公司,但扒一扒他们过往的发展历程,会发现MyHeritage还真是前沿技术弄潮儿。
比如2006年,MyHeritage就推出了人脸识别功能,这个功能可以帮用户从照片数据库中识别人脸特征,将个体联系在一起。
2016年,MyHeritage还推出了一项基因检测服务,号称能帮你发现你的种族起源,并寻找到新的亲戚……目前售价59美元。
据《国家地理杂志》报道,2018年,MyHeritage提供了5000份这样的DNA检测工具包,帮助在美墨边境散失的移民家庭团聚。
而公开资料显示,到2019年为止,MyHeritage成为了全球第三大DNA检测公司。
嗯,从制作家谱,到DNA检测,再到用AI“复活”老照片,这个技术发展路径还真挺合理呢!(手动狗头)
不仅变高清,还能动起来
咳咳,梳(ba)理(gua)完了,我们还是照例说回到技术本身。
虽然MyHeritage没有详细说明这一火爆应用背后的技术细节,但大致上,让老照片动起来的效果,需要两步来完成。
先是用超分辨率,让照片变得更高清:
然后再用动作迁移,将另一个视频中的人物动作,“迁移”给照片中的人物。
首先,是超分辨率技术,也就是通过降噪、增加分辨率等方法,来增加照片的清晰度。
这里,就需要GAN来发挥作用了,对这种模型进行训练后,再采用其中的生成器,来对低频图像进行重建。
整体而言,GAN能够解决MSE损失函数缺少高频信息的问题,从而补全图像中有关高频细节的内容。
△深度生成算法ILO
利用这种方法重建的图像,能构造出非常细节的人脸图像,甚至连马赛克人脸都能还原:
不过,这种方法也有一些问题,那就是在还原图像的过程中,模型会更注重图像风格的相似、而非像素的相似(即感知相似)。
所以即使人物逼真,在细节上也可能会出现像这样与原图不一致的情况:
△深度生成算法ILO
当然,将图片变得清晰后,还需要利用动作迁移,让照片动起来。
这项技术能实时提取一段视频中的任务关键点,并将这些关键点和照片中的人脸关键点对应起来。
利用一项名为“骨架”(skeleton)的技术,模型将视频人物的关键点提取出来,并给照片中的人物也标记上对应的关键点。
△动作迁移算法TransMoMo
然后,再一帧帧将视频人物的动作“迁移”到图片中去。
通过这种方法,哪怕只有一张照片,也能让里面的人物跟着“开口说话”:
确实接近于“魔法”了。
有人感动,也有人担心
除了对“魔法”效果的惊叹,这样的技术,也实实在在带来了感动。
在reddit热度高达2.9k的火爆讨论之中,就有网友写下了自己的真实感受:
我试了试我父亲的老照片,效果令我哽咽。他在我几个月大时就去世了,这是我第一次看见他动起来,眨眼、微笑……
也有网友提出,这要是搭配上AR放到博物馆里,让照片里的人亲自给你讲述他们的人生故事,那真的简直了。
不过,也有不少网友表示,担心这样的技术被滥用,比如拍摄某些小电影……
而虽然MyHeritage强调他们不会向任何第三方提供用户上传的照片,并且未被完全注册的照片会被自动删除,但网友仍然对数据泄露表示担忧。
毕竟MyHeritage本来也有过翻车历史……
2018年6月,MyHeritage被发现一个安全漏洞,泄露了超过9200万名用户的数据。
这些数据,包括用户的Email地址和密码。
虽然MyHeritage声称,用户家谱、DNA图谱和信用卡等信息存储在另一个系统,未被泄露,且在漏洞发现当天就对用户进行了双重身份验证。
但2019年12月,这些泄露的信息却出现在了各种非法网站上,正被出售(而且出售的信息不止Email地址和密码)。
参考链接:
[1] 网站地址:https://www.myheritage.cn/deep-nostalgia/result/866401141-500002
[2] https://www.theverge.com/2021/2/28/22306097/ai-brings-still-photos-life-meme-twitter-geneaology-myheritage
[3] https://arxiv.org/abs/2102.07364
[4] https://arxiv.org/abs/2003.14401
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
点个在看 paper不断!