超分辨率开源库 GitHub 热门项目分享

于 2024-06-17 11:02:01 发布
阅读量957 收藏 18
点赞数 20
文章标签： gpu 超分辨率重建 github
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_49711991/article/details/139738208
版权

图片

超分辨率(Super-Resolution)就是将低分辨率(low resolution)的图像通过算法提升到高分辨率(high resolution)的过程。

超分辨率技术在多个领域有广泛应用，包括但不限于以下几个方面：

  1. 医疗成像：在医学影像中，超分辨率技术可以帮助提高图像质量，使医生能够更清晰地观察和诊断疾病。

  2. 安全监控：在安防监控系统中，超分辨率技术可以提高监控视频的分辨率，从而更有效地识别和跟踪目标。

  3. 数字娱乐：超分辨率技术提高图像视频的清晰度，例如修复一些古老的影视资料。

  4. ......

随着图像和视频数据量的急剧增加，以及人们对高质量图像需求的不断提升，超分辨率技术也在不断发展，以满足实际应用的需求。本文将分享一些相关的开源库和数据集，希望能够帮助该领域的研究人员推进研究和应用。

GFPGAN

GFPGAN 是腾讯开源的图像修复工具包，专注于人脸照片的恢复，尤其是老照片、低分辨率或损坏人脸的修复。

  • 开源地址：https://github.com/TencentARC/GFPGAN

  • 在线demo：https://replicate.com/xinntao/gfpgan

  • 论文地址：https://arxiv.org/abs/2101.04061

⭐Star:34.9k

waifu2x

waifu2x 使用卷积神经网络对动漫风格的图片进行放大操作（支持照片），最高能4倍放大图片。

  • 开源地址：https://github.com/nagadomi/waifu2x

  • 在线使用：https://www.waifu2x.net/

⭐Star:27.3k

Real-ESRGAN

Real-ESRGAN 是腾讯开源的图像分辨率提升模型，旨在开发出实用的图像/视频修复算法。

最新更新发布了动漫视频小模型AnimeVideo-v3 model、动漫插图模型RealESRGAN_x4plus_anime_6B。

Real-ESRGAN 在提升老旧照片或视频的分辨率、改善低质量图像资料的清晰度、增强数字取证中的图像质量以及提高医学成像的分辨率等应用中发挥重要作用。

  • 开源地址：https://github.com/xinntao/Real-ESRGAN

  • 论文地址：https://arxiv.org/abs/2107.10833

⭐Star:26.7k

CodeFormer

CodeFormer 主要针对图像修复、去噪、超分辨率等更广泛的图像恢复任务，尤其擅长处理含有结构信息的图像（如文本、线条、边缘）。但对于人脸修复，相较于 GFPGAN 效果稍逊。

  • 开源地址：https://github.com/sczhou/CodeFormer

  • 论文地址：https://arxiv.org/abs/2206.11253

⭐Star:19.3k

图片

Waifu2x-Extension-GUI

Waifu2x-Extension-GUI 借助深度卷积神经网络对图片、GIF、视频进行超分辨率放大(即放大与降噪)以及对视频进行插帧(即补帧)。

  • 开源地址：https://github.com/AaronFeng753/Waifu2x-Extension-GUI

⭐Star:12.3k

图片

原图 GIF 500 x 372

图片

经过2x放大&降噪,以及gif优化后 1000 x 744

BasicSR

BasicSR(Basic Super Restoration)是一个基于 PyTorch 的开源图像视频复原工具箱，适配多种视觉底层任务，比如超分辨率，去噪，去模糊，去 JPEG 压缩噪声等。

  • 开源地址：https://github.com/XPixelGroup/BasicSR

  • 官方教程：https://www.zhihu.com/column/c_1295528110138163200

⭐Star:6.4k

人脸超分辨数据集

FFHQ(Flickr-Faces-HQ Dataset) 数据集包含 70000 张 1024x1024 分辨率的高清人脸图像。

CelebA-HQ 数据集包含 30000 张 1024x1024 分辨率的高清人脸图像。

  • FFHQ数据集：https://github.com/NVlabs/ffhq-dataset

  • CelebA-HQ 数据集：https://github.com/tkarras/progressive_growing_of_gans

图像超分辨率数据集

DIV2K 数据集源自 NTIRE2017 和 NTIRE2018 超分辨率挑战赛，由 800 幅训练集图片，100 幅验证集图片和 100 幅测试集图片组成，每张图片具有 2K 分辨率。

  • DIV2K 数据集：https://data.vision.ee.ethz.ch/cvl/DIV2K/

视频超分辨率数据集

Vimeo90K 是一个大规模、高质量的视频数据集，由从 vimeo.com 下载的 89800 个视频片段组成，涵盖了各种场景和动作。

另外，该数据集分为 Triplet 数据集（用作视频插帧）和 Septuplet 数据集（用作视频去噪、视频去块和视频超分辨率）两个子集。

  • 下载地址：http://toflow.csail.mit.edu/

  • 论文地址：https://arxiv.org/abs/1711.09078

图片

当前，超分辨率方法主要分为三类：基于插值的方法、基于重构的方法和基于学习的方法。特别是基于学习的方法，需要大量的数据、计算资源，以满足训练模型获取图像高频细节信息的需求。作为算力服务商，趋动云拥有高性能的计算资源，能够快速处理海量数据，为开发人员提供强大的支持。

❝

趋动云是面向企业、科研机构和个人 AI 开发者构建的开发和推理训练服务，也是全球首个基于 GPU 算力池化云的服务。

趋动云的使命是连接算力·连接人：

📍通过连接全球算力，趋动云可以为用户提供便宜、好用的 AI 算力。
📍通过为AI算法开发全流程提供优化服务、构建全球开发者项目和数据社区，趋动云可以帮助AI开发者接入丰富的生态，快速实现最佳实践。

趋动云

virtaitech
关注
博客
云平台一键部署【Unique3D】单一图像生成高质量和高效的3D网格
11-05 388
Unique3D 是一个新颖的图像到3D框架，旨在从单视图图像中高效生成高质量的 3D 网格。该框架具有最先进的生成保真度和强大的通用性。与基于分数蒸馏采样（SDS）的传统方法相比，Unique3D 不仅能够提高生成速度，还能生成多样化的 3D 结果。Unique3D 的核心优势在于其高保真度和高效性。通过优化算法，该框架能够在较短的时间内生成高质量的 3D 网格，这对于实际应用来说非常重要。此外，Unique3D 还具备强大的泛化能力，能够适应不同的输入图像并生成相应的 3D 模型。
博客
干货大分享！目标检测开源神器与主流数据集概览
11-05 359
目标检测是计算机视觉中的一项核心任务，旨在识别图像或视频中的特定物体并为其定位。该任务不仅需要确定物体的类别，还要提供物体的边界框，以便准确框住目标。目标检测技术广泛应用于自动驾驶、监控系统、人机交互和图像检索等领域。本文精心汇总了目标检测技术的前沿开源模型与数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。
博客
PRCV 2024 完美收官！AI飞跃，算力无限！
10-28 290
第七届中国模式识别与计算机视觉大会(The 7th Chinese Conference on Pattern Recognition and Computer Vision PRCV 2024)已于在圆满落幕。本届会议旨在汇聚国际国内模式识别和计算机视觉领域的广大科研工作者及工业界同行，分享最新理论研究进展和技术研发成果。
博客
错过再等一年！趋动云周年庆 · 礼遇双十一，注册即享豪礼，充值更有翻倍惊喜！
10-28 338
各位探索者，趋动云小助手来啦！想驰骋 AI 世界，怎能少了英伟达 GPU 这位“超级跑车”？但买车太贵？别怕，趋动云就是你的“租车”首选！现在，趋动云新用户福利大放送！只需通过我的专属链接，红包，先到先得，手慢者无！长按下方专属二维码，然后识别“注册”即可。方式二：或者点击以下链接，即刻注册：另外，小助手领取新客任务，完成后。(悄悄告诉你由于小助手太好说话，加他除领取新客算力外，还能获得更多免费算力。
博客
一文尽享 Matting（抠图）主流开源模型、数据集
10-10 925
本文精心汇总了 Matting（抠图）技术的前沿开源模型、主流算法以及数据集资源，旨在加速开发人员的研究进程，轻松获取所需算法与数据。
博客
云平台一键部署【mPLUG-Owl3-7B】阿里开源多模态大模型
10-10 501
mPLUG-Owl3-7B模型作者来自阿里mPLUG团队，他们一直深耕多模态大模型底座，以LLaVA-Next-Interleave为基准，mPLUG-Owl3将模型的First Token Latency缩小了6倍，且单张A100能建模的图像数目提升了8倍，达到了400张图片，且该模型在单图像、多图像和视频任务中的表现依然非常出色。在此之前还提出了：高效多模态底座mPLUG系列模块化多模态大语言模型底座mPLUG-Owl系列文档理解底座mPLUG-DocOwl系列。
博客
图像超补全（Outpainting）技术的前沿模型与数据集资源汇总
09-25 1003
lmage outpainting”这一概念是由斯坦福大学 CS230 课程的 Mark Sabini 等人提出，相较于图像修复技术，lmage outpainting 更进一步，能够从给定的图像片段中“补全”出缺失的外延部分，以精妙的方式补全画面，从而构建出一个完整且连贯的视觉世界。另外，所提出的论文在吴恩达的斯坦福大学 CS230 课程中获得了期末 Poster 的第一名。论文地址：https://arxiv.org/pdf/1808.08483。
博客
异构AI算力资源池：智能世界的新型基础设施
09-23 1209
OrionX支持将不同品牌如英伟达、寒武纪、华为海思、海光等构建成一个异构资源池，上层业务人员无须关心底层具体调用哪个品牌、哪个型号的算力资源，底层算力对上层业务人员完全透明，业务人员只需关注需要多少张算力卡，以及需要多少算力、显存资源，进行按需申请即可。通过软件定义的方式，可以构建一个灵活的算力资源池，满足不同应用对于计算能力、存储能力和网络能力的需求，同时实现资源的按需分配。通过软件定义异构AI算力资源池，可以实现对算力资源的精细化管理和优化调度，从而提高算力的利用率和效率。
博客
图像修复（Inpainting）技术的前沿模型与数据集资源汇总
09-18 1265
图像修复（Image Inpainting）是一种计算机视觉技术，旨在填补图像中的缺失区域或去除图像中的不需要部分，使其看起来自然且无明显痕迹。其目标是根据图像的上下文信息和周围像素来推断和重建缺失区域的内容，以生成逼真且一致的图像。Inpainting 技术的应用广泛，包括但不限于：图像修复：用于修复老旧或损坏的照片，例如修补划痕、污渍或褪色区域。视觉内容编辑：在照片/视频编辑中，填充被裁剪或移除的部分，或替换特定区域的内容。；移除不需要的对象或元素，实现无缝过渡。
博客
见刊丨“GPU池化”术语发布
09-14 373
在实践中，很多企业AI系统都是通过物理形式直接调用GPU，GPU并没有像云场景中计算、存储、网络虚拟化一样实现资源池化。资源池的核心是通过软件的方法，将各种硬件（CPU、内存、磁盘、网络等）变成可以动态管理的“资源池”，从而提升资源的利用率，简化系统管理，实现资源整合，让IT对业务的变化更具适应力。GPU池化也是遵循这样的理念，对物理GPU进行抽象，软件化后形成一个统一的资源池，方便用户按需对GPU资源进行有效调用，无需关注实际物理GPU的大小，数量，型号以及安插的物理位置。
博客
GPU池化如何帮助用户灵活“避坑”
09-14 910
随着5G、人工智能、云计算、大数据、IoT等技术的推动，万物互联的时代即将到来。因为大量AI应用都依赖GPU的超强计算能力，可以预见算力需求将越来越大，GPU在数据中心的地位也会越来越高。然而理想是丰满的，现实却是骨感的，GPU的计算能力虽然很强，但GPU总是因各种原因“罢工”:不是因为GPU故障，就是因为GPU资源不够，导致上层AI应用无法安全、稳定地运行，使AI应用管理员很狼狈，每天总是疲于奔命。究其。
博客
GPU池化为实现Robotaxi按下快进键
09-12 456
该报告从智慧共享出行的远大蓝图讲起，认为随着汽车产业“电气化”、“智能化”、“网联化”、“共享化”进程的不断发展，集“四化”于一身的Robotaxi代表了未来地面共享出行的理想形态。为了突破技术桎梏、推动商业落地，行业参与者从各自角度出发，或通过技术和产品的打磨，或通过生态和模式的创新，或通过政策和标准的制定，推动着自动驾驶行业健康、有序发展，稳步前进。在这个背景下，Robotaxi行业参与者众多，也需要各路“玩家”建立统一的商业视界，在数据高效流通的世界内通力协作，建立智慧共享出行的新模式。
博客
干货分享丨智造底座——AI算力池化的必要与实践
09-12 359
GEMINI AI训练平台以云原生容器服务为基础架构，调用云资源，配合人工智能、大数据以及分布式计算框架，服务于企业的AI算法开发、模型训练以及AI应用部署需求。诸如自动驾驶、电信、银行、互联网等领域的头部客户都已开始采用趋动科技的解决方案，实现算力的灵活调配，从而降低IT成本，提高生产运营效率。然而在现实应用中，作为高级图形处理和算力支持的GPU利用率却并不高，传统的物理绑定GPU方式正在束缚算力资源，让其无法发挥应用的价值，更别提在高级别渲染、虚拟现实和深度学习等项目中灵活的进行资源协作。
博客
OrionX vGPU研发测试场景下最佳实践之SSH模式
09-12 593
目前很多企业在做AI开发的场景时，对GPU资源的管理都是非常简单粗暴的。他们大多都是以开发小组为管理单位、由运维以台为单位分配给开发工程师使用。而在AI开发中涉及开发的场景和测试的场景，很多是将开发测试甚至训练任务都放在一起来使用资源，这时用户就会在资源使用方面遇到一些问题：从管理角度看，用户会遇到资源无法统一管理和调度、也无法做到很好的监控和资源统计的问题；从算法人员的角度看，他们面临的问题就是资源紧张须相互协调、无法灵活动态地使用和申请资源的问题。
博客
OrionX vGPU 研发测试场景下最佳实践之Jupyter模式
09-11 1347
通过pytorch的api我们可以直接拿到GPU的信息，跟物理卡是一致的，物理卡是T4，vGPU同样是T4，此时vGPU是分配了一块卡，所以显示的数量也是一样的，根据pytorch拿到的信息我们可以发现对于上层的框架而言调用vGPU资源跟调用物理GPU资源是一样的，不会有什么改变，那对于上层的应用来说也是透明的使用vGPU资源。我们使用了pytorch 1.8.1 cuda 10.2的镜像，然后将ubuntu的软件源改成阿里云的，同时删除nvidia的源，否则会因为网络问题无法安装其他软件。
博客
OrionX vGPU 研发测试场景下最佳实践之CodeServer模式
09-11 1015
在之前的文章中，我们讲述了OrionX vGPU基于SSH模式、以及Jupyter模式下的最佳实践（文末附回顾链接~），今天，让我们走进CodeServer模式的最佳实践。• CodeServer模式：微软的VSCode的服务器版本，近年很多企业在采用该工具，使用资源的方式类似Jupyter，也是部署在虚机或者容器当中。
博客
OrionX GPU算力池助力AI OCR场景应用
09-11 1263
OrionX通过软件定义AI算力，颠覆了原有的AI应用直接调用物理GPU的架构，增加软件层，将AI应用与物理GPU解耦合，通过构建GPU资源池，对资源池中的GPU资源进行统一管理、维护和调配，资源池的大小可以根据系统管理需求而定，比如，可以将数据中心内所有的物理GPU纳入资源池中，也可以将一个GPU服务器作为一个资源池。通过软件定义算力的方式，将传统GPU资源以整卡为单位进行分配，变为以算力1%，显存1MB为基本单位进行资源提供，实现GPU按需分配，整体利用率提升明显。
博客
AI算力池化技术在银行业的最佳实践荣获“科学普及达人奖”
09-09 370
趋动科技作为完全自主可控的软件定义AI算力技术领导厂商，专注于为全球用户提供国际领先的数据中心级AI算力虚拟化和资源池化软件及解决方案，已完成中关村高新、国高新、“专精特新”等企业认证，并认证了ISO9001和ISO27001资质。该解决方案在光大平稳运行2年多以来，我们很高兴地看到，全栈云平台已经高质量地达成了建设目标，作为光大银行数字化转型的稳固底座，成为了覆盖更广泛需求、资源云化、上下游一体调度支配的云计算技术中台。> 场景灵活转换：统一资源池，同时支持推理和训练场景，瞬间转换，资源随时就绪。
博客
AI算力池化技术助力运营商打造智算生态
09-09 812
当前智能算力芯片成本已占到数据中心服务器总体成本80%，然而智能算力芯片作为新型硬件形态，其虚拟化能力存在局限性，算力资源只能以独占方式进行分配，导致底层资源无法被充分利用——据统计，智算中心异构算力硬件总体利用率普遍低于30%，导致算力建设总体成本居高不下。数字经济时代，算力已成为国民经济发展的重要基础设施。趋动科技OrionX猎户座AI算力资源池化解决方案为运营商客户带来创新的异构算力资源管理和分配方案，引入软件定义算力的概念，将OrionX软件部署在多台不同类型的异构算力服务器上，通过网络互联，
博客
GPU设备化到服务化：高质量AI算力基础设施的关键
09-09 1138
OrionX专注于GPU服务化，通过创新的技术和灵活的服务模式，为用户提供了一种高效、可扩展且成本效益高的解决方案，它以其独特的GPU服务化理念，为用户提供了一个打造高质量算力基础设施的新选择，也为整个行业树立了一个高标准。：OrionX的算力池化技术实现了应用与算力的解耦合，使得应用部署更加灵活，不再受限于宿主机的算力类型，极大地提升了资源的利用效率和应用的可移植性。：OrionX将算力的使用模式从传统的设备独占式转变为服务化的动态使用，有效减少了算力的闲置时间，提高了资源的利用率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值