编辑:张倩、陈萍
我们见过很多神经网络上色、换表情、修改年龄的研究和应用,但它们往往只存在于 GitHub 上,距离「人人能用」还有一段距离。但最近,推出 Photoshop 的 Adobe 这次终于有所表示了:你们论文里的效果,我们打包实现了。
![be14-kavypmq6202577.jpg](http://n.sinaimg.cn/spider20201023/146/w709h237/20201023/be14-kavypmq6202577.jpg)
![be14-kavypmq6202577.jpg](http://n.sinaimg.cn/spider20201023/146/w709h237/20201023/be14-kavypmq6202577.jpg)
这两年,我们从很多论文中看到过一些令人惊艳的 demo,比如老照片自动上色、低画质图像秒变高清图像、普通图像一键变梵高风格等。
但对于不写代码、不玩模型的普通人来说,这些 demo 展示的应用还是非常遥远,或者只能从某个 APP 中找到其中一种。因此,经常有人会问:「我也想用这个 demo 里的效果,但不懂代码,我还有机会吗?」
先说答案:有。
这个答案来自大名鼎鼎的 Adobe。这家极富创意的公司最近在 Photoshop 22.0 版更新中推出了一个新的工具包——Neural Filters,把自动上色、超分辨率、风格迁移等之前很多论文展示的功能都打包到了一起。
先来看自动上色:
![ec29-kavypmq6202596.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/ec29-kavypmq6202596.gif)
![ec29-kavypmq6202596.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/ec29-kavypmq6202596.gif)
可以看到,整个过程能够一键完成。当然,如果你对某一处的上色效果不满意,可以选择手动调整:
![5e73-kavypmq6202746.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/5e73-kavypmq6202746.gif)
![5e73-kavypmq6202746.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/5e73-kavypmq6202746.gif)
其实,局部上色效果不佳是目前很多算法存在的共性问题,Photoshop 这种「自动 + 手动」的方法似乎更加灵活。
日常生活中的照片也经常存在分辨率不够高或被压成 JPEG 格式后画质变差的情况,而在 Neural Filters 中,这个问题也通过添加细节被克服了:
![09c9-kavypmq6202755.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/09c9-kavypmq6202755.gif)
![09c9-kavypmq6202755.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/09c9-kavypmq6202755.gif)
这波修复操作包括「增强图像细节」、「消除JPEG 伪影」和「降噪」。
其他特色功能还包括风格迁移、年龄转换、角度变换、深度感知等:
![8b23-kavypmq6202942.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/8b23-kavypmq6202942.gif)
![8b23-kavypmq6202942.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/8b23-kavypmq6202942.gif)
有了这个滤镜,人人都是梵高。
![2bf0-kavypmq6202938.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/2bf0-kavypmq6202938.gif)
![2bf0-kavypmq6202938.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/2bf0-kavypmq6202938.gif)
笑着笑着就老了。
![ab9f-kavypmq6203037.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/ab9f-kavypmq6203037.gif)
![ab9f-kavypmq6203037.gif](http://n.sinaimg.cn/spider20201023/750/w480h270/20201023/ab9f-kavypmq6203037.gif)
拍照爱歪头的同学有救了。
在表情调整方面,Neural Filters 也做出了改进。与之前 Liquify 使用原像素调整表情不同,Neural Filters 可以生成新的像素,使得调整后的表情更加明显,可调幅度更大。
![b90a-kavypmq6203025.png](http://n.sinaimg.cn/spider20201023/649/w1080h369/20201023/b90a-kavypmq6203025.png)
![b90a-kavypmq6203025.png](http://n.sinaimg.cn/spider20201023/649/w1080h369/20201023/b90a-kavypmq6203025.png)
看完这些效果之后,不少网友表示:「心动了」,「买正版有动力了」。
![2f4f-kavypmq6203160.png](http://n.sinaimg.cn/spider20201023/481/w401h80/20201023/2f4f-kavypmq6203160.png)
![2f4f-kavypmq6203160.png](http://n.sinaimg.cn/spider20201023/481/w401h80/20201023/2f4f-kavypmq6203160.png)
Adobe 官方页面介绍称,Neural Filters 是一款基于 Adobe Sensei 的机器学习工具包,通过生成原始图像中不存在的上下文像素来调整图像。
Adobe Sensei 并非一款单独的软件产品,而是一个可以应用于 Adobe 旗下各款产品的底层人工智能工具,于 2016 年正式发布。Sensei 利用了 Adobe 长期积累下来的大量数据和内容,从图片到影像,能够帮助人们解决在媒体素材创意过程中面临的一系列问题,例如如何在互联网上的海量图库里找到想要的图片,让软件明白某张照片、某张照片的一部分、某段视频以及某段文本描述的真实含义,帮助人们把一些固定、重复性的操作变得自动化和简单化。
这么强大的功能是在本地还是云端实现的呢?Adobe 介绍说,除了 Depth-Aware Haze 之外,Neural Filters 的大部分功能都是在本地运行的。表情、年龄调整等比较复杂的操作有些会在云端进行。
在使用这些功能时,软件会优先选择调用你的 GPU,如果没有高性能 GPU 就调用 CPU,但高性能的 GPU 不是必需的。
Neural Filters 怎么用
Neural Filters 的使用非常简单。首先,你需要从云端下载 filters 并开始编辑。点击 Filters > Neural Filters,你可以在 Neural Filters 工作区中找到 featured filters 和 beta filters。
![730e-kavypmq6203181.gif](http://n.sinaimg.cn/spider20201023/200/w640h360/20201023/730e-kavypmq6203181.gif)
![730e-kavypmq6203181.gif](http://n.sinaimg.cn/spider20201023/200/w640h360/20201023/730e-kavypmq6203181.gif)
具体来说,第一次使用需要完成以下三个步骤:
1. 选择 Filter > Neural Filters
![88a3-kavypmq6203473.png](http://n.sinaimg.cn/spider20201023/163/w720h243/20201023/88a3-kavypmq6203473.png)
![88a3-kavypmq6203473.png](http://n.sinaimg.cn/spider20201023/163/w720h243/20201023/88a3-kavypmq6203473.png)
2. 从云端下载所需的 filters
任何在其旁边显示有云图标的 filters 在第一次使用前都需要从云端下载。点击云图标下载 filter。
![7035-kavypmq6203469.png](http://n.sinaimg.cn/spider20201023/545/w357h188/20201023/7035-kavypmq6203469.png)
![7035-kavypmq6203469.png](http://n.sinaimg.cn/spider20201023/545/w357h188/20201023/7035-kavypmq6203469.png)
3. 启动和调整 filter
启用 filter,用右侧面板中的选项来创建所需的效果。
![d49b-kavypmq6203511.png](http://n.sinaimg.cn/spider20201023/465/w327h138/20201023/d49b-kavypmq6203511.png)
![d49b-kavypmq6203511.png](http://n.sinaimg.cn/spider20201023/465/w327h138/20201023/d49b-kavypmq6203511.png)
Filter类型
![c6c0-kavypmq6203516.png](http://n.sinaimg.cn/spider20201023/445/w687h1358/20201023/c6c0-kavypmq6203516.png)
![c6c0-kavypmq6203516.png](http://n.sinaimg.cn/spider20201023/445/w687h1358/20201023/c6c0-kavypmq6203516.png)
NeuralFilters 有 3 种类型的应用:
功能齐全的应用:这些是已发布的 filters,符合严格标准。
Beta:这类 filters 仅限于测试,其背后的机器学习模型或工作流程还在改进中。你可以试用这些功能,但输出效果可能不理想。
即将到来的 Filters:这类 filters 还没开发出来,但将来或许能实现。
注意:如果在图像中没有检测到人脸,肖像相关 filters 将会变灰。
输出选项
![702c-kavypmq6203596.png](http://n.sinaimg.cn/spider20201023/686/w500h186/20201023/702c-kavypmq6203596.png)
![702c-kavypmq6203596.png](http://n.sinaimg.cn/spider20201023/686/w500h186/20201023/702c-kavypmq6203596.png)
你可以通过以下其中一种方式将生成的编辑内容另存为输出:
Current Layer:生成像素来修补当前层的破坏性操作。
Duplicate Layer:复制当前层,并将新的 filters 应用到新层。
Duplicate Layer masked:创建一个新层,并将 filters 用作新层的一个 mask。
New Layer:仅用新生成的像素生成一个新层。
Smart Filter:生成新的像素并将其作为一个智能 filter 应用。
有了 Neural Filters,PS 一张图再也不需要太多专业知识了,Neural Filters 会改变世界吗?
「有了神经网络滤镜,我们终于可以说 Photoshop 是全球最先进的 AI 应用了,」Adobe 数字成像副总裁 Maria Yap 说道。「现在,我们正在创造的图像是前所未有的。」
参考链接:https://helpx.adobe.com/photoshop/using/neural-filters-list-and-faq.html
Amazon SageMaker实战教程(视频回顾)
Amazon SageMaker 是一项完全托管的服务,可以帮助机器学习开发者和数据科学家快速构建、训练和部署模型。Amazon SageMaker 完全消除了机器学习过程中各个步骤的繁重工作,让开发高质量模型变得更加轻松。
10月15日-10月22日,机器之心联合AWS举办3次线上分享,全程回顾如下:
![eed5-kavypmq6202962.png](http://n.sinaimg.cn/spider20201023/626/w1080h346/20201023/eed5-kavypmq6202962.png)
![eed5-kavypmq6202962.png](http://n.sinaimg.cn/spider20201023/626/w1080h346/20201023/eed5-kavypmq6202962.png)
第一讲:AmazonSageMaker Studio详解
黄德滨(AWS资深解决方案架构师)主要介绍了Amazon SageMaker的相关组件,如studio、autopilot等,并通过在线演示展示这些核心组件对AI模型开发效率的提升。
视频回顾地址:
![a802-kavypmq6203066.png](http://n.sinaimg.cn/spider20201023/626/w1080h346/20201023/a802-kavypmq6203066.png)
![a802-kavypmq6203066.png](http://n.sinaimg.cn/spider20201023/626/w1080h346/20201023/a802-kavypmq6203066.png)
第二讲:使用AmazonSageMaker 构建一个情感分析「机器人」
刘俊逸(AWS应用科学家)主要介绍了情感分析任务背景、使用Amazon SageMaker进行基于Bert的情感分析模型训练、利用AWS数字资产盘活解决方案进行基于容器的模型部署。
视频回顾地址:
![d6e4-kavypmq6203070.png](http://n.sinaimg.cn/spider20201023/626/w1080h346/20201023/d6e4-kavypmq6203070.png)
![d6e4-kavypmq6203070.png](http://n.sinaimg.cn/spider20201023/626/w1080h346/20201023/d6e4-kavypmq6203070.png)
第三讲:DGL图神经网络及其在AmazonSageMaker上的实践
张建(AWS上海人工智能研究院资深数据科学家)主要介绍了图神经网络、DGL在图神经网络中的作用、图神经网络和DGL在欺诈检测中的应用和使用Amazon SageMaker部署和管理图神经网络模型的实时推断。
视频回顾地址: