DDColor：AI图像着色工具，优秀的黑白图像上色模型，支持双解码器！

最新推荐文章于 2024-12-26 08:45:00 发布

孜孜孜孜不倦

最新推荐文章于 2024-12-26 08:45:00 发布

阅读量2.2k

点赞数 28

文章标签：人工智能图像处理

本文链接：https://blog.csdn.net/z_ipython/article/details/135865976

版权

前言

在数字图像处理领域，图像上色 一直是一个重要的课题。传统的图像上色方法通常需要人工干预，耗时且效果有限。

然而，随着深度学习技术的发展，自动图像上色模型逐渐成为了研究热点。其中，DDColor 图像上色模型以其出色的性能和便捷的使用方式备受关注。

项目介绍

DDColor 是一个由 阿里达摩院 研究的基于深度学习技术的 图像上色模型，它能够自动将黑白或灰度图像着色，使图像更加生动逼真。

该模型采用了先进的神经网络架构和训练技术，能够识别图像中的物体和场景，并为其添加逼真的颜色。

项目及演示：https://modelscope.cn/models/damo/cv_ddcolor_image-colorization/summary

论文：https://arxiv.org/abs/2212.11613

GitHub：https://github.com/piddnad/DDColor

Colab在线体验：https://github.com/camenduru/DDColor-colab

双解码器技术

DDColor 模型 包括一个图像编码器和两个解码器，分别是图像解码器和颜色解码器。图像解码器完成视觉特征的上采样过程，而颜色解码器基于一个 Transformer 进行颜色查询的解码。

具体而言，颜色解码器使用多尺度的视觉特征帮助颜色嵌入的学习，因此学习到强语义相关的颜色嵌入。

使用双解码器技术，DDColor能够同时考虑色彩分布和像素级详细信息，能实现高度真实的图像上色效果。

不仅能给历史黑白照片上色，还能对动漫或游戏中的风景进行真实风格的上色。

DDColor使用双解码器做了哪些事情？

DDColor 使用了双解码器来处理图片：一个是恢复图片的结构，另一个是决定图片每个部分的颜色。

这项技术的创新之处在于它不需要像以前的方法那样依赖于人工设置的规则，而是能够自己学习图片的内容并决定合适的颜色。

通过这种方式，DDColor可以更准确地给复杂场景的图片上色，减少颜色错误涂抹的问题，并且使得最终的图片看起来色彩更丰富、更自然。

DDColor工作原理

`特征提取`、`多尺度处理` `、双解码器结构、颜色应用、色彩丰富度优化`

使用及体验

1、运行依赖安装

方式一：如果有本地或云服务器计算资源，可以在本地或云服务器进行环境安装，以更灵活的方式体验算法模型。

方式二：如果觉得本地安装较为复杂，也可以在线运行 ModelScope 平台（阿里云官方模型平台） 提供的 Notebook。

Notebook 中预先安装了官方镜像，因此无需再进行手动环境安装，更加方便快捷。

2、图像准备

准备一张黑白图像或者彩色图像（输入一张彩色图像，也可以进行重上色），图像可以在本地或网络上。

例如，我们选取一张黑白照片：

3、调用 pipeline 进行图像上色

import cv2
from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks
 
img_colorization = pipeline(Tasks.image_colorization, 
                       model='damo/cv_ddcolor_image-colorization')
img_path = 'https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/audrey_hepburn.jpg'
result = img_colorization(img_path)
cv2.imwrite('result.png', result[OutputKeys.OUTPUT_IMG])