【python】OpenCV—Image Super Resolution

于 2024-08-06 23:09:39 发布
阅读量615 收藏 25
点赞数 18
分类专栏： Python 文章标签： python opencv 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bryant_meng/article/details/140967640
版权

在这里插入图片描述

文章目录

1、背景介绍

图像超分，即图像超分辨率（Image Super Resolution，简称SR），是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的技术。这种技术可以显著提升图像的清晰度和细节，使其更加接近原始高分辨率图像的质量。图像超分辨率技术主要可以分为超分辨率复原和超分辨率重建两大类

  • 超分辨率复原：主要侧重于从单幅低分辨率图像中恢复出高分辨率图像，但这一过程往往受限于低分辨率图像本身的信息量，难以完全恢复所有细节。

  • 超分辨率重建：通过利用多幅低分辨率图像（通常是通过同一场景的不同视角、时间或光照条件下拍摄得到）来重建出高分辨率图像。这种方法的核心思想是用时间带宽（即获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换。

EDSR、ESPCN、FSRCNN、LapSRN是四种不同的深度学习图像超分辨率（Super Resolution, SR）算法，它们在图像处理领域各有特点和应用场景。以下是对这四种算法的详细介绍：

1）EDSR（Enhanced Deep Super-Resolution Network）

EDSR是一种增强型深度超分辨率网络，旨在通过深度学习技术提高图像的分辨率。它借鉴了ResNet网络中的残差学习机制，但移除了批归一化（Batch Normalization, BN）层，以适应超分辨率这一low-level视觉任务的需求。

特点：

  • 无BN层：移除BN层以避免高频信息的丢失，确保像素点绝对值的准确性。
  • 残差学习：采用残差学习机制，通过跳过连接（Skip Connection）帮助网络更好地学习高分辨率图像的细节。
  • 高效性能：在多个基准数据集上表现出色，能够生成具有丰富细节的高分辨率图像。

应用场景：

  • EDSR广泛应用于图像和视频的超分辨率重建，包括但不限于数字图像修复、视频监控、医学影像等领域。

2）ESPCN（Efficient Sub-Pixel Convolutional Neural Network）

ESPCN是一种高效子像素卷积神经网络，用于在低分辨率图像上直接计算得到高分辨率图像。它避免了传统上采样方法（如双线性插值、双三次插值）带来的计算复杂性和信息损失。

特点：

  • 亚像素卷积层：核心在于亚像素卷积层，该层通过重新排列卷积层的输出来生成高分辨率图像。
  • 计算效率高：只需要一次卷积运算和一次反卷积运算，大大减少了计算量和时间成本。
  • 适用性强：适用于各种类型的低分辨率图像和不同的超分辨率应用场景。

应用场景：

  • ESPCN在数字图像识别、遥感图像分析、医学图像诊断等领域具有广泛应用。

3）FSRCNN（Fast Super-Resolution Convolutional Neural Network）

FSRCNN是对SRCNN（Super-Resolution Convolutional Neural Network）的改进版本，旨在提高超分辨率重建的速度和质量。它通过减少网络参数和引入更高效的卷积核来实现这一目标。

特点：

  • 直接处理低分辨率图像：与SRCNN不同，FSRCNN直接对原始低分辨率图像进行操作，避免了上采样过程带来的计算负担。
  • 非线性映射：使用多个中等大小的卷积核（3×3）代替SRCNN中的大卷积核（5×5），提高了非线性映射能力。
  • 快速重建：通过优化网络结构和参数，实现了更快的超分辨率重建速度。

应用场景：

  • FSRCNN适用于需要快速超分辨率重建的场景，如实时视频处理、移动设备图像处理等。

4）LapSRN（Laplacian Pyramid Super-Resolution Network）

LapSRN是一种基于拉普拉斯金字塔的超分辨率网络，它通过递归的方式对图像进行逐层上采样和细节恢复。

特点：

  • 递归网络结构：采用递归网络结构，通过拉普拉斯金字塔的方式对图像进行分层处理。
  • 高效性：分阶段处理不同级别的高频信息，减少了计算复杂性，提高了运算效率。
  • 高质量：通过多层次的细节恢复，生成的高分辨率图像具有丰富的细节和良好的整体结构。

应用场景：

  • LapSRN适用于需要高质量超分辨率重建的场景，如高清视频制作、医学影像处理、游戏图形渲染等。

2、准备工作

pip install opencv-contrib-python

3、EDSR

import cv2
import matplotlib.pyplot as plt

time = 4
# 读取图片
img = cv2.imread("opencv.jpg")

sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = f"EDSR_x{time}.pb"
sr.readModel(path)
sr.setModel("edsr", time)
result = sr.upsample(img)

# 调整图像大小
resized = cv2.resize(img, dsize=None, fx=time, fy=time)
plt.figure(figsize=(6, 2))

# 原始图像
plt.subplot(1, 3, 1)
plt.title("Ori")
plt.imshow(img[:, :, ::-1])

# SR上采样图像
plt.subplot(1, 3, 2)
plt.title(f"SRx{time}")
plt.imshow(result[:, :, ::-1])

# OpenCV 上采样图像
plt.subplot(1, 3, 3)
plt.title("Resize")
plt.imshow(resized[:, :, ::-1])

plt.show()

EDSR_x2.pb

在这里插入图片描述

EDSR_x3.pb

在这里插入图片描述

EDSR_x4.pb

在这里插入图片描述

在这里插入图片描述

输入图片

在这里插入图片描述

输出结果 2x，与插值对比
在这里插入图片描述
输出结果 3x，与插值对比

在这里插入图片描述
输出结果 4x，与插值对比

在这里插入图片描述

4、ESPCN

import cv2
import matplotlib.pyplot as plt

time = 4

# 读取图片
img = cv2.imread("opencv.jpg")
sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = f"ESPCN_x{time}.pb"
sr.readModel(path)
sr.setModel("espcn", time)
result = sr.upsample(img)

# 调整图像大小
resized = cv2.resize(img, dsize=None, fx=time, fy=time)
plt.figure(figsize=(6, 2))

# 原始图像
plt.subplot(1, 3, 1)
plt.title("Ori")
plt.imshow(img[:, :, ::-1])

# SR上采样图像
plt.subplot(1, 3, 2)
plt.title(f"SRx{time}")
plt.imshow(result[:, :, ::-1])

# OpenCV 上采样图像
plt.subplot(1, 3, 3)
plt.title("Resize")
plt.imshow(resized[:, :, ::-1])

plt.show()

ESPCN_x2.pb
在这里插入图片描述

ESPCN_x3.pb

在这里插入图片描述

ESPCN_x4.pb

在这里插入图片描述
在这里插入图片描述

超分结果

2x，与插值对比
在这里插入图片描述
3x，与插值对比

在这里插入图片描述
4x，与插值对比
在这里插入图片描述

5、FSRCNN

import cv2
import matplotlib.pyplot as plt

time = 4
# 读取图片
img = cv2.imread("opencv.jpg")

sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = f"FSRCNN_x{time}.pb"
sr.readModel(path)
sr.setModel("fsrcnn", time)
result = sr.upsample(img)

# 调整图像大小
resized = cv2.resize(img, dsize=None, fx=time, fy=time)
plt.figure(figsize=(6, 2))

# 原始图像
plt.subplot(1, 3, 1)
plt.title("Ori")
plt.imshow(img[:, :, ::-1])

# SR上采样图像
plt.subplot(1, 3, 2)
plt.title(f"SRx{time}")
plt.imshow(result[:, :, ::-1])

# OpenCV 上采样图像
plt.subplot(1, 3, 3)
plt.title("Resize")
plt.imshow(resized[:, :, ::-1])

plt.show()

FSRCNN_x2.pb

在这里插入图片描述

FSRCNN_x3.pb

在这里插入图片描述

FSRCNN_x4.pb

在这里插入图片描述
在这里插入图片描述

输出结果，与插值对比

2x

在这里插入图片描述

3x
在这里插入图片描述

4x

在这里插入图片描述

6、LapSRN

import cv2
import matplotlib.pyplot as plt

time = 8
# 读取图片
img = cv2.imread("opencv.jpg")

sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = f"LapSRN_x{time}.pb"
sr.readModel(path)
sr.setModel("lapsrn", time)
result = sr.upsample(img)

# 调整图像大小
resized = cv2.resize(img, dsize=None, fx=time, fy=time)
plt.figure(figsize=(6, 2))

# 原始图像
plt.subplot(1, 3, 1)
plt.title("Ori")
plt.imshow(img[:, :, ::-1])

# SR上采样图像
plt.subplot(1, 3, 2)
plt.title(f"SRx{time}")
plt.imshow(result[:, :, ::-1])

# OpenCV 上采样图像
plt.subplot(1, 3, 3)
plt.title("Resize")
plt.imshow(resized[:, :, ::-1])

plt.show()

LapSRN_x2.pb

在这里插入图片描述

LapSRN_x4.pb

在这里插入图片描述

LapSRN_x8.pb

在这里插入图片描述

在这里插入图片描述
输出结果，与插值对比

2x

在这里插入图片描述

4x

在这里插入图片描述

8x
在这里插入图片描述

7、汇总对比

import cv2
import matplotlib.pyplot as plt

# 读取图片
# img = cv2.imread("image.png")
# img = img[130:290, 150:360]

img = cv2.imread("opencv.jpg")


plt.figure(figsize=(12, 8))

# ori
plt.subplot(2, 3, 1)
plt.xticks([])
plt.yticks([])
plt.xlabel("Ori")
plt.imshow(img[:, :, ::-1])


# resize
resize = cv2.resize(img, dsize=None, fx=4, fy=4)
plt.subplot(2, 3, 2)
plt.xticks([])
plt.yticks([])
plt.xlabel("Resize_x4")
plt.imshow(resize[:, :, ::-1])


# EDSR_x4
sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = "./EDSR/EDSR_x4.pb"
sr.readModel(path)
sr.setModel("edsr", 4)
result_edsr = sr.upsample(img)
plt.subplot(2, 3, 3)
plt.xticks([])
plt.yticks([])
plt.xlabel("EDSR_x4")
plt.imshow(result_edsr[:, :, ::-1])


# ESPCN_x4
sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = "./ESPCN/ESPCN_x4.pb"
sr.readModel(path)
sr.setModel("espcn", 4)
result_espcn = sr.upsample(img)
plt.subplot(2, 3, 4)
plt.xticks([])
plt.yticks([])
plt.xlabel("ESPCN_x4")
plt.imshow(result_espcn[:, :, ::-1])


# FSRCNN_x4
sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = "./FSRCNN/FSRCNN_x4.pb"
sr.readModel(path)
sr.setModel("fsrcnn", 4)
result_fsrcnn = sr.upsample(img)
plt.subplot(2, 3, 5)
plt.xticks([])
plt.yticks([])
plt.xlabel("FSRCNN_x4")
plt.imshow(result_fsrcnn[:, :, ::-1])


# LapSRN_x4
sr = cv2.dnn_superres.DnnSuperResImpl_create()
path = "./LapSRN/LapSRN_x4.pb"
sr.readModel(path)
sr.setModel("lapsrn", 4)
result_lapsrn = sr.upsample(img)
plt.subplot(2, 3, 6)
plt.imshow(result_lapsrn[:, :, ::-1])
plt.xticks([])
plt.yticks([])
plt.xlabel("LapSRN_x4")
plt.show()

输入图片

在这里插入图片描述

输出图片

在这里插入图片描述

输入图片

在这里插入图片描述
输出图片

在这里插入图片描述

EDSR 好像不错，大力出奇迹

8、参考

OpenCV进阶（1）基于OpenCV的超分辨率

链接：https://pan.baidu.com/s/1M0l63vxYbS7zrF3Pn9IYaQ
提取码：123a

bryant_meng
关注
  • 18
    点赞
  • 踩
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
开源计算机视觉库OpenCV详解
dvlinker的技术专栏
06-23 7万+
详细介绍开源计算机视觉库OpenCV。
python OpenCV 模拟远程视频监控(tcp协议)
玛卡巴卡
02-17 2467
利用opencv获取电脑A的摄像头捕捉的数据 , 利用tcp网络传输协议 , 传送和接收视频的数据 ,在另一个电脑上显示出来
python opencv 实现基于深度学习的超分辨率处理
weixin_43355359的博客
10-29 4216
s超分辨率(super-resolution)的通俗解释就是：将低分辨率的图像通过算法转换成高分辨率图像。 通常的超分辨率分两种：SISR和VSR。前者叫做单图像超分辨率，后者叫做视频超分辨率。我们通常理解的超分辨率都是指SISR，我们只需要输入一张低分辨率图像而获得高分辨率图像的输出。 而VSR会利用视频的时间关联性来获得对某一帧的SR。https://muzhan.blog.csdn.net/article/details/85048846 本文讲的是利用OpenCV实现前者，实现步骤和代码基于’小白学
第十八篇【传奇开心果短博文系列】Python的OpenCV库技术点案例示例：图像修复和恢复
最新发布
2401_84584854的博客
05-03 622
init()# 定义模型结构，可以使用自定义的卷积神经网络或预训练的模型# 模型前向传播过程init()# 定义模型结构，可以使用自定义的卷积神经网络或预训练的模型# 模型前向传播过程。
Python OpenCV 图像风格迁移(模仿名画)
Crossin的编程教室
10-15 7580
现在很多人都喜欢拍照（自拍）。有限的滤镜和装饰玩多了也会腻，所以就有 APP 提供了模仿名画风格的功能，比如 prisma、versa 等，可以把你的照片变成 梵高、毕加索、蒙克 等大师的风格。这种功能叫做“图像风格迁移”，几乎都是基于 CVPR 2015 的论文《A Neural Algorithm of Artistic Style》和 ECCV 2016 的论文《Perceptual Los...
python opencv 图像切割_Python 使用 OpenCV 进行图像神经风格迁移
weixin_39605345的博客
11-20 271
Neural Style Transfer with OpenCVsrc: https://www.pyimagesearch.com/2018/08/27/neural-style-transfer-with-opencv/、source code: https://app.monstercampaigns.com/c/tortsem7qkvyuxc4cyfiauthor: Adrian Ros...
在Python中使用微信扫码功能（OpenCV WeChatQRCode）
热门推荐
桔子code 的博客
12-28 1万+
怎么在python中嵌入微信扫码功能 微信开发团队在今年年初的时候将其二维码扫描功能贡献给了OpenCV社区，在OpenCV-Python中也可以使用微信扫码功能了。 使用前需要安装opencv-contrib-python包，注意安装的包不能低于4.5.2版本。 使用起来也非常简单，近乎一行流的风格，首先是用wechat_qrcode_WeChatQRCode()创建检测实例，再用detectAn
第十八篇【传奇开心果短博文系列】Python的OpenCV库技术点案例示例：图像修复和恢复(1)
2401_84584831的博客
05-03 912
init()# 定义模型结构，可以使用自定义的卷积神经网络或预训练的模型# 模型前向传播过程init()# 定义模型结构，可以使用自定义的卷积神经网络或预训练的模型# 模型前向传播过程init()# 定义模型结构，可以使用自定义的卷积神经网络或预训练的模型# 模型前向传播过程。
Python图像识别实战（三）：基于OpenCV实现批量单图像超分辨重建（附源码和实现效果）
数据杂坛
12-19 2074
Python基于OpenCV实现批量单图像超分辨重建（附源码和实现效果）
superResolution
03-25
在Python中，图像处理库如OpenCV、PIL和scikit-image等被广泛用于图像的读取、操作和显示。然而，对于超分辨率任务，更专业化的库如TensorFlow、PyTorch或Keras可能被用来构建深度学习模型。这些深度学习框架支持...
Python代码实现高分辨率图像导航
04-15
7. **代码实现**：`High_resolution_image_navigation.py`文件很可能是实现上述功能的Python代码。它可能包含了读取和处理高分辨率图像的代码，使用OpenCV进行特征检测和匹配，以及路径规划的逻辑。 8. **实际应用*...
ResidualDenseNetwork-Pytorch:火炬工具
05-16
OpenCV 用法 您需要准备DIV2K数据集（./data/） 火车模型： python3 main.py --model_name 'RDN' --load demo_x3_RDN --dataDir ./DIV2K/ --need_patch True --patchSize 144 --nDenselayer 3 --nFeat 64 --...
superres:OpenCV超级分辨率
04-07
OpenCV中的超级分辨率模块主要基于“快速超分辨率卷积神经网络”（Fast Super-Resolution Convolutional Neural Network, SRCNN）模型。SRCNN是2014年提出的一种端到端的深度学习模型，由三个主要部分组成：低分辨率...
10.super pix图像清晰化（超级分辨率）python代码实现
05-08
4. **Python编程环境**：Python是一种广泛用于科学计算和数据处理的编程语言，拥有丰富的图像处理库，如OpenCV、PIL、scikit-image以及专为深度学习设计的TensorFlow、PyTorch等。这些库提供了便利的接口，使得...
【python】Scikit-learn中决策树可视化方法
bryant_meng
03-19 1万+
参考 官方文档，决策树的介绍 官方文档，回归树使用参数介绍 官方文档，回归树小的例子 scikit-learn决策树算法类库使用小结（分类回归树参数对比介绍与可视化方法） 官方回归树的example代码如下 print(__doc__) # Import the necessary modules and libraries import numpy as np from s...
【python】Leetcode（primer）
bryant_meng
09-11 1万+
（2019.7.26）不断更新中…… 【python】Leetcode（Data Structure / Algorithm） 【python】Leetcode（Dynamic Programming） 【python】Leetcode（Map） 【python】Leetcode（String） 【python】Leetcode（Tree） 【python】Coding（Interview） 文章目录260. 只出现一次的数字 III（字典 / 位运算）136. 只出现一次的数字（字典）137. 只出现一
【python】OpenCV—Video to Imag / Image to Video
bryant_meng
11-24 8966
文章目录1 计算总帧数2 计算 Frames per second（FPS）3 Video to Image4 Image to Video 1 计算总帧数 import cv2 video_cap = cv2.VideoCapture('/home/Downloads/2.mp4') frame_count = 0 while (True): ret, frame = video_cap.read() if ret is False: break fram..
【python】OpenCV—findContours
bryant_meng
11-06 6951
文章目录【1】 cv2.addWeighted【2】cv2.findContours 根据 mask 标签（跟原图一样大小的二值图），1）把 mask（cv2.addWeighted） 画在原图上，2）把 mask 轮廓（cv2.findContours）画在原图上 【1】 cv2.addWeighted 来自 Python-OpenCV 图像叠加or图像混合加权（cv2.addWeighted） import numpy as np img1 = cv2.imread("/home/Downlo..
写一段Super Resolution的代码
01-30
Super Resolution是一种图像处理技术，用于将低分辨率图像提升到更高的分辨率。下面是一个使用Python语言实现Super Resolution的例子： ``` import cv2 # 读入低分辨率图像 lr_image = cv2.imread('low_resolution.jpg') # 使用cv2的resize函数将图像放大4倍 hr_image = cv2.resize(lr_image, None, fx=4, fy=4, interpolation=cv2.INTER_CUBIC) # 保存高分辨率图像 cv2.imwrite('high_resolution.jpg', hr_image) ``` 上面的代码使用了OpenCV库中的resize函数来实现图像的放大。这里使用的是双三次插值（INTER_CUBIC）来进行图像插值，但也可以使用其他的插值方法，如双线性插值（INTER_LINEAR）或最近邻插值（INTER_NEAREST）。 注意，上面的代码只是一个简单的例子，在实际应用中，可能需要使用更复杂的算法来获得更好的Super Resolution效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值