心中无码便是高清,马赛克“脑补”算法 PULSE

1

万恶马赛克

万恶的马赛克,是阻碍人类进步的绊脚石。

马赛克“脑补”算法 PULSE,助你图片模糊高清

这是杜克大学近期的一项研究,将模糊人脸秒变高清。

PULSE 算法目前只支持人脸的马赛克“去除”,因为训练数据都是人脸。

也就是说,“脑补”其它物体马赛克下的内容也是可以的,只要你有数据!

我知道,你一定又有了一些大胆的想法

「 Just do it 」 !

今天,继续手把手教学

算法原理、环境搭建、效果测试,一条龙服务,尽在下文!

2

算法原理

PULSE 算法可以在几秒内,将 16x16 像素的低分辨率(Low Resolution,以下简称 LR)小图,放大 64 倍,变成 1024 x 1024 像素的高分辨率(High Resolution,以下简称 HR)图像。

PULSE 算法会「脑补」出 LR 图像一些不存在的特征,补充细节,例如纹理、毛孔、毛发等:

左图为原始 LR 图片,右图为 PULSE 算法生成的 HR 图片。

PULSE 算法的思路是,拿到一张 LR 图片,使用 stylegan 生成 HR 图片,再将 HR 图片 downscale 得到的 LR 图片与原始 LR 图片对比,一直迭代收敛,找到最接近的那张。如下图所示:

原始 LR 图片和 PULSE 修复后再 donwscale 的 LR 图片对,使两者最接近的 HR 图片,就是修复得到的 HR 图片。

该算法在著名的高分辨率人脸数据集 CelebA HQ 上进行了效果评估,用 64×,32× 和 8× 的比例因子,采用不同的算法,进行了对比实验。

实验表明,PULSE 算法的效果最佳,得分几乎与真实的高质量照片一样高

通过上图,可以清晰地看到,PULSE 算法在人脸不同位置的纹理细节。

不过 PULSE 算法也有一定的局限性,它无法将失焦、不能识别的人脸照片,变成照片真人的清晰图像,它仅会生成不存在但看上去很真实的新面孔

说白了,PULSE 生成的高清图片,是「脑补」出来的,与真实的人脸照片可能存在差别。

3

环境搭建

PULSE 算法采用 Pytorch 实现,使用了 dlib 人脸库的一些 API。

项目地址:

https://github.com/adamian98/pulse

环境搭建不复杂,工程里的 pulse.yml 文件,已经写明了依赖环境。

name: pulse
channels:
  - pytorch
  - defaults
dependencies:
  - blas=1.0=mkl
  - ca-certificates=2020.1.1=0
  - certifi=2020.4.5.1=py38_0
  - cffi=1.14.0=py38hc512035_1
  - chardet=3.0.4=py38_1003
  - cryptography=2.9.2=py38ha12b0ac_0
  - cycler=0.10.0=py38_0
  - freetype=2.9.1=hb4e5f40_0
  - idna=2.9=py_1
  - intel-openmp=2019.4=233
  - jpeg=9b=he5867d9_2
  - kiwisolver=1.2.0=py38h04f5b5a_0
  - libcxx=10.0.0=1
  - libedit=3.1.20181209=hb402a30_0
  - libffi=3.3=h0a44026_1
  - libgfortran=3.0.1=h93005f0_2
  - libpng=1.6.37=ha441bb4_0
  - libtiff=4.1.0=hcb84e12_0
  - matplotlib=3.1.3=py38_0
  - matplotlib-base=3.1.3=py38h9aa3819_0
  - mkl=2019.4=233
  - mkl-service=2.3.0=py38hfbe908c_0
  - mkl_fft=1.0.15=py38h5e564d8_0
  - mkl_random=1.1.0=py38h6440ff4_0
  - ncurses=6.2=h0a44026_1
  - ninja=1.9.0=py38h04f5b5a_0
  - numpy=1.18.1=py38h7241aed_0
  - numpy-base=1.18.1=py38h6575580_1
  - olefile=0.46=py_0
  - openssl=1.1.1g=h1de35cc_0
  - pandas=1.0.3=py38h6c726b0_0
  - pillow=7.1.2=py38h4655f20_0
  - pip=20.0.2=py38_3
  - pycparser=2.20=py_0
  - pyopenssl=19.1.0=py38_0
  - pyparsing=2.4.7=py_0
  - pysocks=1.7.1=py38_0
  - python=3.8.2=hf48f09d_13
  - python-dateutil=2.8.1=py_0
  - pytorch=1.5.0=py3.8_0
  - pytz=2020.1=py_0
  - readline=8.0=h1de35cc_0
  - requests=2.23.0=py38_0
  - scipy=1.4.1=py38h44e99c9_0
  - setuptools=46.2.0=py38_0
  - six=1.14.0=py38_0
  - sqlite=3.31.1=h5c1f38d_1
  - tk=8.6.8=ha441bb4_0
  - torchvision=0.6.0=py38_cpu
  - tornado=6.0.4=py38h1de35cc_1
  - urllib3=1.25.8=py38_0
  - wheel=0.34.2=py38_0
  - xz=5.2.5=h1de35cc_0
  - zlib=1.2.11=h1de35cc_3
  - zstd=1.3.7=h5bba6e5_0
  - pip:
    - dlib==19.19.0
prefix: /path/to/your/anaconda3/envs/pulse

直接使用 pulse.yml 文件,用 Anaconda 进行环境配置。

修改 pulse.yml 文件中 prefix 的路径为你的 Anaconda 路径,然后使用指令创建环境:

conda create -f pulse.yml

这是官方推荐的方法。亲测,依然遇到了一些依赖问题。

最后一个一个依赖包安装才解决,所以我建议是使用 Anaconda 通过第三方库的包名安装,不用管版本啥的,例如:

conda install ca-certificates requests

libcxx、libedit 等这类的 lib 库不用安装,Anaconda 在创建 Python 环境的时候已经安装好了。

这里面稍微难安装的就是 dlib,dlib 需要使用 cmake 进行编译,所以需要先安装好 cmake,这里使用 pip 安装即可:

python -m pip install cmake dlib

都搞定了,环境就算搭建完成了。

4

效果测试

PULSE 项目地址:

https://github.com/adamian98/pulse

下载项目到本地:

git clone https://github.com/adamian98/pulse

项目提供了 pretrained model ,模型放在了 Google Drive ,不能翻墙的无法下载。

所以我将模型下载好,上传到了我的百度网盘。

下载地址(提取码:3gpq):

https://pan.baidu.com/s/13NZ8RY8KSogY78xh3gpcJA

在工程目录,创建 cache、realpics 两个文件夹,将下载好的三个文件放到 cache 文件夹内。

然后将下图放到 realpics 文件夹内,我们以此图为例,进行测试。

图片下载地址:

https://cuijiahua.com/wp-content/uploads/2020/07/dl-21-6.jpg

首先,我们使用 align_face.py 对图片 downscale。

python align_face.py

程序使用 dlib 检测人脸框,并对检测到的人脸进行降低分辨率处理,默认降低为 32x32 分辨率的图片。

生成的图片会放到 input 文件夹内,如果将图片放大到 1024x1024,就是相当于一张布满马赛克的图片。

有了这张 LR 图片,也就是低分辨率图片,使用 PULSE 算法,看下「脑补」效果吧!

python run.py -steps=2000

运行 run.py ,迭代 2000 steps,在 runs 文件夹下就会生成“去除”马赛克后的「脑补」图。

「脑补」图跟原图还是有些神似的!

5

争议

我们都知道,今年 5 月 25 日美国的「跪杀黑人」事件。

由此引发了美国有史以来,最大规模的游行抗议。

6 月份,吃“美国瓜”的人应该不在少数,比如我就在 YouTube 上吃了一个月的瓜。

每个国家都有自己的敏感话题

而美国,现在的敏感话题就是「种族歧视」。

PULSE 算法惹了大麻烦。

PULSE 采用 CelebA-HQ 训练的模型,数据集都是白人,因此算法「脑补」出的也都是白人脸

这在如今高喊「黑命贵」的美国,无疑是一股扎眼的“逆流”。

有网友就拿奥巴马的低分辨率照片进行测试,结果生成的都是白人男性,更加坐实了 PULSE 算法的「种族歧视」罪名。

PULSE 算法,以及相关的研究人员,因此被打上了「种族偏见」的标签。

甚至深度学习领军人物 LeCun 因为替 PULSE 说话,也不幸躺枪。

我倒是在想,以后美国科研的数据集是不是也得像美国电影一样,一部剧必须得有黑人演员才行,否则就算「政治不正确」。

扛着「政治正确」大旗的人们“口诛笔伐”异己,欲加之罪,何患无辞。

技术,有罪吗?

6

最后

  • PULSE 算法对于非数据集的数据,「脑补」效果一般。

  • 想用 PULSE 算法,“去除”人脸以外的马赛克图,需要建立数据集,重新训练模型。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值