【python】OpenCV—Image Colorization

已于 2024-08-12 09:23:00 修改
阅读量1.3k 收藏 30
点赞数 14
分类专栏： Python 文章标签： python opencv 开发语言
于 2024-08-05 23:09:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/140918349
版权

在这里插入图片描述

文章目录

1、CIELAB 色彩空间

Lab颜色空间，也称为Lab色彩空间或CIELAB色彩空间，是一种基于人类视觉感知特性的颜色模型。它是在1931年国际照明委员会（CIE）制定的颜色度量国际标准的基础上建立的，并在1976年经过修订和完善。Lab颜色空间以其独特的优点在多个领域得到广泛应用。

Lab颜色空间是一种颜色-对立空间，它包含三个维度：L、a和b。

  • L：表示亮度（Luminosity），取值范围为0到100，对应从纯黑到纯白的亮度变化。

  • a：表示颜色对立维度之一，通常与绿色到红色的范围相对应，取值范围为-128到+127，其中负值表示绿色方向，正值表示洋红方向。

  • b：表示另一个颜色对立维度，通常与蓝色到黄色的范围相对应，取值范围同样为-128到+127，其中负值表示蓝色方向，正值表示黄色方向。

2、作色问题定义

参考文章

Zhang R, Isola P, Efros A A. Colorful image colorization[C]//Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part III 14. Springer International Publishing, 2016: 649-666.

在这里插入图片描述

在这里插入图片描述

为了简化计算，Lab 颜色空间的 ab 空间被量化为 313 个 bin，如下图所示。而不是为每个像素找到 a 和 b 值，因为这种量化，我们只需要找到一个介于 0 和 312之间的 bin 编号。另一种思考问题的方式是我们已经有了取值从 0 到 255 的 L 通道，我们需要找到取值在 0 到 312 之间的 ab 通道。所以颜色预测任务现在是变成了多分类问题，其中每个灰色像素有 313 个类别可供选择。

在这里插入图片描述

3、Caffe 模型

在这里插入图片描述

colorization_release_v1

在这里插入图片描述

colorization_release_v2
在这里插入图片描述
colorization_release_v2_norebal
在这里插入图片描述

4、代码实现——Image

# This code is written by Sunita Nayak at BigVision LLC. It is based on the OpenCV project.
# It is subject to the license terms in the LICENSE file found in this distribution and at http://opencv.org/license.html

#### Usage example: python3 colorize.py --input greyscaleImage.png

import numpy as np
import cv2 as cv
import argparse
import os.path

parser = argparse.ArgumentParser(description='Colorize GreyScale Image')
parser.add_argument('--input', help='Path to image.', default="greyscaleImage.png")
args = parser.parse_args()

if args.input==None:
    print('Please give the input greyscale image name.')
    print('Usage example: python3 colorizeImage.py --input greyscaleImage.png')
    exit()

if os.path.isfile(args.input)==0:
    print('Input file does not exist')
    exit()

# Read the input image
frame = cv.imread(args.input)

# Specify the paths for the 2 model files
protoFile = "./models/colorization_deploy_v2.prototxt"
weightsFile = "./models/colorization_release_v2.caffemodel"
# weightsFile = "./models/colorization_release_v2_norebal.caffemodel"

# Load the cluster centers
pts_in_hull = np.load('./pts_in_hull.npy')

# Read the network into Memory
net = cv.dnn.readNetFromCaffe(protoFile, weightsFile)

# populate cluster centers as 1x1 convolution kernel
pts_in_hull = pts_in_hull.transpose().reshape(2, 313, 1, 1)
net.getLayer(net.getLayerId('class8_ab')).blobs = [pts_in_hull.astype(np.float32)]
net.getLayer(net.getLayerId('conv8_313_rh')).blobs = [np.full([1, 313], 2.606, np.float32)]

#from opencv sample
W_in = 224
H_in = 224

img_rgb = (frame[:,:,[2, 1, 0]] * 1.0 / 255).astype(np.float32)
img_lab = cv.cvtColor(img_rgb, cv.COLOR_RGB2Lab)
img_l = img_lab[:,:,0] # pull out L channel

# resize lightness channel to network input size
img_l_rs = cv.resize(img_l, (W_in, H_in)) #
img_l_rs -= 50 # subtract 50 for mean-centering

net.setInput(cv.dnn.blobFromImage(img_l_rs))
ab_dec = net.forward()[0,:,:,:].transpose((1,2,0)) # this is our result

(H_orig,W_orig) = img_rgb.shape[:2] # original image size
ab_dec_us = cv.resize(ab_dec, (W_orig, H_orig))
img_lab_out = np.concatenate((img_l[:,:,np.newaxis],ab_dec_us),axis=2) # concatenate with original image L
img_bgr_out = np.clip(cv.cvtColor(img_lab_out, cv.COLOR_Lab2BGR), 0, 1)

outputFile = args.input[:-4]+'_colorized.png'
cv.imwrite(outputFile, (img_bgr_out*255).astype(np.uint8))
print('Colorized image saved as '+outputFile)
print('Done !!!')

cluster center

// 来自 pts_in_hull.npy 的 313 个 ab 聚类中心（已经转置）
static float hull_pts[] = {
    -90., -90., -90., -90., -90., -80., -80., -80., -80., -80., -80., -80., -80., -70., -70., -70., -70., -70., -70., -70., -70.,
    -70., -70., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -60., -50., -50., -50., -50., -50., -50., -50., -50.,
    -50., -50., -50., -50., -50., -50., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -40., -30.,
    -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -30., -20., -20., -20., -20., -20., -20., -20.,
    -20., -20., -20., -20., -20., -20., -20., -20., -20., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10., -10.,
    -10., -10., -10., -10., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 0., 10., 10., 10., 10., 10., 10., 10.,
    10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 10., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20., 20.,
    20., 20., 20., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 30., 40., 40., 40., 40.,
    40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 40., 50., 50., 50., 50., 50., 50., 50., 50., 50., 50.,
    50., 50., 50., 50., 50., 50., 50., 50., 50., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60., 60.,
    60., 60., 60., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 70., 80., 80., 80.,
    80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 80., 90., 90., 90., 90., 90., 90., 90., 90., 90., 90.,
    90., 90., 90., 90., 90., 90., 90., 90., 90., 100., 100., 100., 100., 100., 100., 100., 100., 100., 100., 50., 60., 70., 80., 90.,
    20., 30., 40., 50., 60., 70., 80., 90., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -20., -10., 0., 10., 20., 30., 40., 50.,
    60., 70., 80., 90., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -40., -30., -20., -10., 0., 10., 20.,
    30., 40., 50., 60., 70., 80., 90., 100., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -50.,
    -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., 100., -60., -50., -40., -30., -20., -10., 0., 10., 20.,
    30., 40., 50., 60., 70., 80., 90., 100., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90.,
    100., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -80., -70., -60., -50.,
    -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -90., -80., -70., -60., -50., -40., -30., -20., -10.,
    0., 10., 20., 30., 40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30.,
    40., 50., 60., 70., 80., 90., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70.,
    80., -110., -100., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100.,
    -90., -80., -70., -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., 80., -110., -100., -90., -80., -70.,
    -60., -50., -40., -30., -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -110., -100., -90., -80., -70., -60., -50., -40., -30.,
    -20., -10., 0., 10., 20., 30., 40., 50., 60., 70., -90., -80., -70., -60., -50., -40., -30., -20., -10., 0.
};

Class rebalancing

输入图片

在这里插入图片描述)

v2 without re-balance
在这里插入图片描述
v2 with re-balance
在这里插入图片描述

输入图片

在这里插入图片描述)

v2 without re-balance

在这里插入图片描述

v2 with re-balance

在这里插入图片描述

输入图片

在这里插入图片描述)

v2 without re-balance

在这里插入图片描述

v2 with re-balance

在这里插入图片描述
输入图片

在这里插入图片描述)

v2 without re-balance

在这里插入图片描述

v2 with re-balance

在这里插入图片描述

输入图片

在这里插入图片描述)

v2 without re-balance

在这里插入图片描述

v2 with re-balance

在这里插入图片描述

输入图片

在这里插入图片描述)

v2 without re-balance

在这里插入图片描述

v2 with re-balance

在这里插入图片描述

输入图片

在这里插入图片描述

v2 without re-balance

在这里插入图片描述

v2 with re-balance

在这里插入图片描述

可以观察到引入 color rebalance 后，整体画面变得更黄

5、代码实现——Video

# This code is written by Sunita Nayak at BigVision LLC. It is based on the OpenCV project.
# It is subject to the license terms in the LICENSE file found in this distribution and at http://opencv.org/license.html

#### Usage example: python3 colorizeVideo.py --input greyscaleVideo.mp4

import numpy as np
import cv2 as cv
import argparse
import os.path

parser = argparse.ArgumentParser(description='Colorize GreyScale Video')
parser.add_argument('--input', help='Path to video file.')
args = parser.parse_args()

if args.input==None:
    print('Please give the input greyscale video file.')
    print('Usage example: python3 colorizeVideo.py --input greyscaleVideo.mp4')
    exit()

if os.path.isfile(args.input)==0:
    print('Input file does not exist')
    exit()
          
# Read the input video
cap = cv.VideoCapture(args.input)
hasFrame, frame = cap.read()

outputFile = args.input[:-4]+'_colorized.avi'
vid_writer = cv.VideoWriter(outputFile, cv.VideoWriter_fourcc('M','J','P','G'), 60, (frame.shape[1],frame.shape[0]))

# Specify the paths for the 2 model files
protoFile = "./models/colorization_deploy_v2.prototxt"
# weightsFile = "./models/colorization_release_v2.caffemodel"
weightsFile = "./models/colorization_release_v2_norebal.caffemodel"

# Load the cluster centers
pts_in_hull = np.load('./pts_in_hull.npy')

# Read the network into Memory
net = cv.dnn.readNetFromCaffe(protoFile, weightsFile)

# populate cluster centers as 1x1 convolution kernel
pts_in_hull = pts_in_hull.transpose().reshape(2, 313, 1, 1)
net.getLayer(net.getLayerId('class8_ab')).blobs = [pts_in_hull.astype(np.float32)]
net.getLayer(net.getLayerId('conv8_313_rh')).blobs = [np.full([1, 313], 2.606, np.float32)]

#from opencv sample
W_in = 224
H_in = 224

while cv.waitKey(1):

    hasFrame, frame = cap.read()
    frameCopy = np.copy(frame)
    if not hasFrame:
        break

    img_rgb = (frame[:,:,[2, 1, 0]] * 1.0 / 255).astype(np.float32)
    img_lab = cv.cvtColor(img_rgb, cv.COLOR_RGB2Lab)
    img_l = img_lab[:,:,0] # pull out L channel

    # resize lightness channel to network input size
    img_l_rs = cv.resize(img_l, (W_in, H_in))
    img_l_rs -= 50 # subtract 50 for mean-centering

    net.setInput(cv.dnn.blobFromImage(img_l_rs))
    ab_dec = net.forward()[0,:,:,:].transpose((1,2,0)) # this is our result

    (H_orig,W_orig) = img_rgb.shape[:2] # original image size
    ab_dec_us = cv.resize(ab_dec, (W_orig, H_orig))
    img_lab_out = np.concatenate((img_l[:,:,np.newaxis],ab_dec_us),axis=2) # concatenate with original L channel
    img_bgr_out = np.clip(cv.cvtColor(img_lab_out, cv.COLOR_Lab2BGR), 0, 1)

    vid_writer.write((img_bgr_out*255).astype(np.uint8))

vid_writer.release()

print('Colorized video saved as '+outputFile)
print('Done !!!')

输入视频

greyscaleVideo

结果

colorization_release_v2_noreba

Result-colorization_release_v2

可以观察到引入 color rebalance 后，整体画面变得更黄

6、参考

bryant_meng
关注
  • 14
    点赞
  • 踩
  • 30
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ImageColorizer
03-04
使用ImageColorizer生成墙纸和图像！ 它是一个Python模块和一个CLI工具，您可以轻松地使用它们为墙纸着色，以使其适合配色方案。 当前支持从当前设置的Xresources变量和colorer （我的）中导入colorschemes。 这些示例使用OneDark颜色方案： 它可以使用两种不同的算法： 逐像素算法，遍历每个像素，并用颜色方案中的正确颜色替换它 平均值算法，计算之前每个像素的平均颜色。 在某些情况下，这可以提供更平滑，更好的结果。 逐像素 平均 用法 usage: ImageColorizer [-h] [-x] [-c COLORSCHEME] [-w] [-p COLOR [COLOR ...]] [-s] [-b] [--average BOX_SIZE] [--no_quantize]
OpenCV颜色空间——Lab颜色空间
我们的时光！
06-25 1万+
#include #include #include using namespace cv; #include using namespace std; //显示Lab颜色的色卡 Mat colorMap; //L的取值范围 [0,100] int L = 50; int MAX_L = 100; //a的取值范围[-127,128] int MAX_a = 255; //b的取值范围[-127,
opencv颜色空间学习
weixin_51711289的博客
10-12 939
opencv颜色空间
ImageColorizer：在线黑白照片免费上色
AlphaTao的博客
05-06 1万+
分享一个网站 提供黑白照片免费上色 https://imagecolorizer.com/ 目前免费项目有两个 第一个：自动为黑白图片上色 第四个：修复损坏和划伤的旧照片 （可能只可以修复轻微划伤，亲测效果一般） 第一个上色的效果还不错 效果还是可以的 毕竟免费嘛~ ...
【OpenCV】Lab颜色空间
u014395105的专栏
06-17 7001
Lab是一种色彩空间，也即一种颜色模型，是在1931年国际照明委员会(CIE)制定的颜色度量国际标准的基础上建立的，在1976年又经修订并被命名为CIELab.它包括人眼所能看到的所有的颜色（可见光谱），所以也是目前为止色域最宽的色彩空间，其每一组色值对应一种确定的与设备无关的色彩．这种用数学理论量化的色彩空间使不同设备的色彩能够相互比较、模拟和匹配．    在Lab颜色空间中，一种颜色
python opencv教程，以及配套代码
09-01
python opencv教程，以及配套代码，欢迎对python图像处理，或者opencv感兴趣的朋友下载
Python OpenCV实现测量图片物体宽度
09-16
根据提供的标题、描述、标签及部分内容，本文将详细介绍如何利用Python与OpenCV库来测量图像中物体的宽度。本文不仅会提供详细的步骤说明，还会解释关键函数与算法的工作原理，帮助读者更好地理解整个过程。 ### ...
python opencv实现运动检测
01-20
本文实例为大家分享了python opencv运动检测的具体代码，供大家参考，具体内容如下 # -*- coding:utf-8 -*- __author__ = 'kingking' __version__ = '1.0' __date__ = '14/07/2017' import cv2 import numpy as np ...
python_opencv中文教程
07-18
**Python OpenCV 中文教程详解** 在计算机视觉领域，OpenCV是一个强大的库，它提供了丰富的功能，用于图像处理、图像分析以及计算机视觉算法的实现。而Python作为一门易学且功能强大的编程语言，与OpenCV结合，使得...
python OpenCV imshow(）中文乱码问题解决方法之一
最新发布
10-21
python OpenCV imshow(）中文乱码问题解决方法之一
Lab颜色空间示意图
04-12
Lab颜色空间示意图 Lab颜色空间示意图 Lab颜色空间示意图
opencv-lab:OpenCV实验室的源代码-opencv source code
03-24
OpenCV实验室 此存储库包含大学OpenCV实验室的源代码。 实验1 基本图像处理操作。 应用特点： 将图像旋转任意角度； 将图像转换为灰度； 垂直翻转图片； 水平翻转图像； 将结果另存为PNG或JPEG文件； 实验2 基本的几何形状识别。 此应用程序使用Canny算法检测给定图像上的边缘，并对轮廓几何进行分析以对检测到的轮廓进行分类。 使用的工具 OpenCV 3.4.3 Java 8 将OpenCV安装到本地Maven存储库 $ mvn install:install-file \ -Dfile=/path/to/jar/opencv-343.jar \ -DgroupId=org.opencv \ -DartifactId=opencv \ -Dversion=3.4.3 \ -Dpackaging=ja
opencv实战从0到N （12）—— Lab颜色空间与显著性分析
AI知识搬运工
07-04 2139
opencv实战从0到N （12）—— Lab颜色空间与显著性分析 1，Lab空间： Lab色彩模型是由亮度(L)和有关色彩的a, b三个要素组成。L表示亮度(Luminosity)，a表示从洋红色至绿色的范围，b表示从黄色至蓝色的范围。 L的值域由0到100，L=50时，就相当于50%的黑;a和b的值域都是由+127至-128，其中+127 a就是红色，渐渐过渡到-128 a的时候就变成绿...
机器视觉技术分享-图像分割色彩空间的转换 含c++ python 代码说明及工程
changjuanfang的专栏
04-18 462
数字图像分割是指将数字图像中的像素集合划分为不同的区域，使得每个区域内的像素具有类似的特征或属性。在转换后的图像的b通道中变换后的图像的b通道中，腊肠块可以被可靠地分割。5. 基于图论的分割：将图像看作一个图，将像素看作节点，将像素之间的相似性看作边，然后使用图论算法将图像分割为不同的区域。1. 基于阈值的分割：将图像中像素的灰度值与给定的阈值进行比较，将像素分为两类，从而实现图像分割。4. 聚类法：将图像中的像素按照一定的特征进行聚类，从而实现图像分割。LAB通道分离：（分别为 L A B通道图像）
CIELAB色差计算
热门推荐
张洁的笔记
06-23 3万+
CIE色差计算就是在之前Lab颜色空间进行的。色差一般指的是由于位置不同或者放大率不同所造成的颜色差异。而在图像处理领域，尤其是针对色彩的处理中，很重要的一点就是消除色差。那么接下来我们就讨论CIE色差公式的改进过程，每次改进的意义，以及公式的具体解释。...
图像上色 (Image-Colorization) 项目
m0_50502579的博客
06-09 1958
你要的图像上色项目有啦！！ （1）ChromaGAN colab打开可以直接运行 github:https://github.com/pvitoria/ChromaGAN colab:https://colab.research.google.com/github/pvitoria/ChromaGAN/blob/master/DemoChromaGAN.ipynb （2）Fully-Automatic-Video-Colorization-with-Self-Regularization-and-Dive
OpenCV色彩空间与通道
qq_64366975的博客
07-03 892
OpenCV色彩空间与通道
html用图片代替color,Image Colorizer - 将黑白照片变为彩色照片在线工具
weixin_31688465的博客
06-04 1711
相信很多人家里都有一些黑白照片，毕竟在那个年代里只有黑白照片，虽然黑白照片别有一番风味，但还是比较好奇如果这些照片是彩色的是不是更好看，今天小编就给大家推荐一款将黑白照片变为彩色的在线工具——Image Colorizer。Image Colorizer在线工具简介Image Colorizer是一款免费使用AI技术将黑白照片变成彩色照片的在线工具。无需使用Photoshop对黑白照片进行着色...
Python使用Colorful Image Colorization
05-01
颜色图像着色是计算机视觉中的一个重要任务，它可以将黑白图像转换为彩色图像。在Python中，您可以使用深度学习技术来实现彩色图像着色。下面是使用Colorful Image Colorization算法进行彩色图像着色的步骤： 1. 安装依赖库：首先需要安装PyTorch和OpenCV库。 2. 下载预训练模型：从GitHub上下载Colorful Image Colorization预训练模型。 3. 加载模型：使用PyTorch库加载预训练模型。 4. 加载图像：使用OpenCV库加载要着色的图像。 5. 图像预处理：对图像进行预处理，包括缩放和归一化。 6. 执行模型：将预处理后的图像输入到模型中，执行彩色图像着色。 7. 显示结果：使用OpenCV库显示着色后的图像。 下面是一个简单的Python代码示例，用于基于Colorful Image Colorization算法实现图像着色： ```python import torch import cv2 # 加载预训练模型 model_path = 'colorization_release_v2-9b330a0b.pth' model = torch.load(model_path, map_location=torch.device('cpu')) model.eval() # 加载图像 img_path = 'bw.jpg' img = cv2.imread(img_path) # 图像预处理 img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) img = cv2.resize(img, (256, 256)) img = img.astype("float32") / 255.0 img = torch.from_numpy(img).unsqueeze(0).unsqueeze(0) # 执行模型 output = model(img) output = output.data.cpu().numpy().squeeze().transpose((1, 2, 0)) output = cv2.resize(output, (img.shape[2], img.shape[3])) output = cv2.cvtColor(output, cv2.COLOR_LAB2BGR) # 显示结果 cv2.imshow('Colorized Image', output) cv2.waitKey(0) cv2.destroyAllWindows() ``` 在上面的代码中，我们首先加载了预训练模型，然后使用OpenCV库加载了要着色的黑白图像。接下来，我们对图像进行了预处理，并将其输入到预训练模型中执行彩色图像着色操作。最后，我们使用OpenCV库显示着色后的图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值