关注上方“深度学习技术前沿”,选择“星标公众号”,
资源干货,第一时间送达!
转载自:量子位
传奇的作者打造传世的作品,但作者逝世了,又该怎么办?
用AI来“传宗接代”。
最近,便有团队利用英伟达的StyleGAN,为已经逝世的传奇漫画家——手冢治虫的作品“续命”。
提到手冢治虫,你可能会觉得陌生,但提到《铁臂阿童木》,“大龄”小伙伴们就再熟悉不过了吧?
为了延续他的作品,来自记忆体制造商KIOXIA的研究人员和艺术团队,与日本株式会社联手,利用深度学习(StyleGAN),创造了世界上第一部由AI生成的漫画——《PHAEDO》。
为了利于生成漫画角色,团队分析了手冢先生数百部漫画作品,包括《铁臂阿童木》、《森林大帝》、《怪医黑杰克》等等。
《PHAEDO》已经在日本《晨间》周刊上发表。
这部新漫画,可以说是很好的传承了手冢先生的衣钵。
让漫画之神的作品“传宗接代”
《PHAEDO》这部漫画,其实是Kioxia公司一个叫#FutureMemories 01 “TEZUKA 2020”的项目。
项目负责人东原良平(Ryohei Orihara)介绍说:
它是由AI和人类,根据手冢治虫的许多记忆创造出一件作品的项目。漫画这种艺术表现形式,在世界范围内广为人知,并且被几代人所阅读和喜爱。
为了让AI学习手冢治虫作品的特点,研究人员将漫画人物面部的特征转化为数据,分析在不同场景下剧情发展的情况。
而角色生成阶段的核心技术,就是英伟达的StyleGAN。
而为了生成一个与StyleGAN一起使用的训练数据集,来自公立函馆未来大学Mukaiyama教授团队从手冢先生的作品中收集了超过10000张面部图像数据集,这些图像可以用来训练模型。
Mukaiyama表示:
我们还让计算机学习手冢作品之外的人脸图像,包括真人的面部图像,让它学习通过左右翻转人脸,产生增强的数据。
训练和推理使用多个NVIDIA V100 GPU,以及StyleGAN编写的cuDNN加速的TensorFlow深度学习框架。
在第一阶段,StyleGAN在单一过程中生成了人脸,研究人员说:
我们试图生成更完整的图像,其中眼睛、鼻子和嘴巴等细微的细节都是从轮廓等粗糙的描绘中逐渐生成的。
接下来,团队决定只使用手冢治虫漫画中的女性角色。
最终,团队利用迁移学习,将数千个数据点整合在一起,实现了类似手冢作品的风格。
通过结合角色的不同个体特征,研究人员发现可以创造出从未出现过的角色。这种机制通过调整结合时的比例,来让生成的角色产生变化。
Orihara说,他最初并不相信迁移学习可以做到这一点,毕竟模型内部就像“黑箱”一样,是未知的。
但这就是深度学习非常有趣的原因。
看到角色一个接一个的被创造出来,这个过程是非常有意思的。
作品出来了,发表又遇到了问题。
最开始,《晨间》周刊的主编Miura是拒绝刊登这部漫画的,他认为项目过程中有太多的人为干预因素。
但在与团队多次交涉过后,Miura改变了主意:
我最终意识到,这个项目也可以用来分析人类是如何创作漫画的,
我想表明,创造一个可以在这些作品中绘制漫画的AI,本身就是一个人类的创造过程。
关于手冢治虫
手冢治虫(1928年11月3日—1989年2月9日),本名手冢治,因喜爱昆虫而取了“手冢治虫”的笔名。漫画家、动画制作人、医学博士。
1947年以漫画《新宝岛》奠定了日本漫画的叙述方式,创立了日本漫画意识形态,极大的扩张了新漫画的表现力。1952年作品《铁臂阿童木》轰动日本,1953年的《缎带骑士》则是公认的世界第一部少女漫画。漫画作品《火之鸟》至今被普遍认为日本漫画界最高杰作。
同时,他也是日本第一位导入助手制度与企业化经营的漫画家。1961年成立“虫Production动画部”,翌年以“虫制作公司”的名义开始活动,日本第一部多集TV动画《铁臂阿童木》、第一部彩色多集TV动画《森林大帝》均诞生于此。1973年虫制作商事倒闭,欠下三亿巨额债务,仍然不停止漫画创作活动,同年以作品《怪医黑杰克》俘虏全国读者,创下多项纪录。
One More Thing
漫画之神手冢治虫教我们用科技来描绘梦想的乐趣。同时,他坚持认为,科学不应该抛弃人性。
于是,KIOXIA在项目的官网上,还提出了这样的一个问题:
如果手冢治虫现在还在世,他眼中(漫画作品)的未来会是什么样子呢?
除了他本人,应该没有人能给出精确的答案。
但利用AI,或许能够为这个问题,提供一个方向。
参考链接
https://news.developer.nvidia.com/osamu-tezuka-ai-supporterd-manga/
https://tezuka2020.kioxia.com/en-jp/
https://baike.baidu.com/item/%E6%89%8B%E5%86%A2%E6%B2%BB%E8%99%AB/192407?fr=aladdin
重磅!DLer-强化学习交流群已成立!
欢迎各位RLer加入强化学习微信交流大群,本群旨在交流强化学习框架、策略梯度、DQN、理论推导与算法实现、前沿技术与顶会文章解读、应用场景等内容。更有求职内推、算法竞赛、资源干货、业界前沿资讯等,欢迎加群交流学习!
进群请备注:研究方向+学校/公司+昵称(如强化学习+上交+王明)
广告商、博主请绕道!
???? 长按识别,即可进群!