Image Super-Resolution via Iterative Refinement 论文笔记

前言

基于Diffusion Model来做的超分辨,与以往基于GAN和CNN网络的不一样,Diffusion Model是从低分辨率图像中学习噪声然后通过UNet来估计噪声,再进行噪声去除来还原图像。主要是基于DDPM这篇论文的理论上进行改进的,相比其他方法来说可以很好的还原图像的高频信息,虽然在PSNR和SSIM指标上一般,但是实际出来的效果来说还是不错的,并且也证明了Diffusion Model这种生成模型在超分辨上方法也是可行的。

网络框架

这篇的网络框架基本是基于DDPM上面进行了略微的改进,区别是出来的图像不是随机生成的,是对低分辨率图像作为条件进行生成的。

主要分为两个阶段,一个是高斯噪声扩散过程,主要是在对模型进行训练的时候,给图像不断地添加随机的高斯噪声,然后通过UNet网络对噪声进行估计,通过估计之后的噪声与原添加的噪声进行对比,损失函数就是使得这两个噪声最可能接近,以此来训练出一个很好的噪声推理网络;第二个阶段是推理阶段,就是当训练好网络后,输入一张低分辨率的图片估计当前噪声然后进行推理直至还原到高分辨率。

Gaussian Diffusion Process

如上图所示就是训练阶段,原图x0对应的就是GT图像,首先均匀采样一个t和噪声z,然后通过上面那条式子估计出第t步的噪声图像xt,

### SELF-REFINE 方法概述 SELF-REFINE 是一种基于单一大型语言模型 (LLM) 的技术框架,其核心在于利用自我反馈机制来实现任务的迭代优化。这种方法的特点包括单模型架构、无需额外训练以及强大的提示工程支持[^1]。通过精心设计的提示模板,SELF-REFINE 能够引导 LLM 执行自我评估、生成反馈并不断优化内容。 #### 迭代精化与自反馈机制原理 SELF-REFINE 的工作流程可以分为以下几个方面: 1. **初始输出阶段** 在接收到输入后,模型会生成初步的结果。这一阶段的目标是提供一个基线版本的内容作为后续优化的基础[^2]。 2. **自我评估与反馈生成** 基于生成的初步结果,模型会对自身的输出进行评价,并识别可能存在的问题或不足之处。这种自我评估的能力使得模型能够发现潜在缺陷,例如逻辑不一致、语法错误或其他不符合预期的情况[^3]。 3. **迭代优化** 利用前一阶段产生的反馈信息,模型重新调整参数设置或者修改提示策略,从而生成经过改进的新版本输出。此过程可能会被多次执行直到达到满意的质量标准为止[^4]。 4. **历史感知能力** 每次迭代过程中所产生的所有中间状态都会被记录下来形成历史数据集。这些数据可以帮助模型更好地理解和纠正过去的失误,在未来遇到相似情境时避免重蹈覆辙。 #### 应用场景 SELF-REFINE 技术因其高度灵活性和广泛适用性而适用于众多领域内的具体任务: - **缩略词生成**: 自动生成既简洁又具代表性的术语简称。 - **对话响应生成**: 提升聊天机器人回复的真实感及时效性。 - **代码可读性改进**: 改善程序源码结构以便于阅读维护。 - **数学问题求解(GSM-8K)**: 准确高效地处理复杂的算数题目。 - **情感分析(Yelp)**: 更精确地区分正面负面评论倾向。 - **程序理解与增强(PIE Task)**: 对现有软件进行全面审查进而提出改进建议。 - **自动文摘与创意写作**: 创建高质量的文章概要或是虚构故事叙述。 - **教育辅助工具开发**: 构建智能化教学平台帮助学生掌握知识点。 - **图形生成与设计**: 设计美观实用的数据可视化作品. ```python # 示例:使用 Self-Refine 生成缩写 import subprocess def generate_acronym(input_text): command = f'python -u src/acronym/run.py "{input_text}"' result = subprocess.run(command, shell=True, capture_output=True, text=True) return result.stdout.strip() if __name__ == "__main__": input_sentence = "Using language models of code for few-shot commonsense" acronym_result = generate_acronym(input_sentence) print(f"Generated Acronym: {acronym_result}") ```
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值