腾讯开源AI视频修复工具SVFR，一键将黑白视频变彩色、高清

AMiner：AI科研助手

于 2025-01-20 16:44:54 发布

阅读量1.4k

点赞数 13

文章标签：人工智能算法语言模型自然语言处理机器学习图像处理

本文链接：https://blog.csdn.net/AI_Conf/article/details/145265393

版权

大模型(LLM)是一种人工智能模型，旨在理解和生成人类语言。它们在大量的文本数据上进行训练，可以执行广泛的任务，包括文本总结、翻译、情感分析等等。LLM的特点是规模庞大，包含数十亿的参数，帮助它们学习语言数据中的复杂模式。这些模型通常基于深度学习架构，如转化器，这有助于它们在各种NLP任务上取得令人印象深刻的表现。

2022年底，OpenAI 推出的基于 GPT-3.5 的大型语言模型 ChatGPT，由于其优秀的表现，ChatGPT 及其背后的大型语言模型迅速成为人工智能领域的热门话题，吸引了广大科研人员和开发者的关注和参与。
在这里插入图片描述
为了方便大家阅读，只列出了论文标题、AMiner AI综述等信息，如果感兴趣可点击查看原文，PC端数据同步（收藏即可在PC端查看），每日新论文也可登录小程序查看。

如果想要对某篇论文进行深入对话，可以直接复制论文链接到浏览器上或者直达AMiner AI页面：
https://www.aminer.cn/chat/g/explain

Towards Best Practices for Open Datasets for LLM Training

【要点】：论文探讨了在使用开放数据集训练大型语言模型（LLM）的最佳实践，指出当前数据共享限制对透明度、责任和创新造成负面影响，并强调了构建基于开放许可数据的AI训练环境的挑战和必要性。
【方法】：作者通过分析不同司法管辖区对版权法的解释，以及当前AI公司数据使用现状，探讨了数据共享限制的原因和后果。
【实验】：无具体实验描述，文中主要基于现状分析和理论探讨，未提及特定数据集名称和实验结果。
【链接】：https://www.aminer.cn/pub/678874f3ae8580e7ff230a75

MMDocIR: Benchmarking Multi-Modal Retrieval for Long Documents

【要点】：本文提出了MMDocIR基准，针对长文档的多模态检索性能评估，包含页面级和布局级两个任务，证明了视觉检索器的优势及视觉元素整合对多模态检索的重要性。
【方法】：研究构建了MMDocIR基准，包含两个任务，页面级检索关注文档内相关页面的定位，布局级检索则关注更细粒度的元素检测。
【实验】：实验使用了包含1,685个专家标注问题和173,843个引导标注问题的丰富数据集，结果显示视觉检索器性能优于文本检索器，MMDocIR训练集对多模态文档检索训练有显著帮助，且基于VLM-text的文本检索器性能优于基于OCR-text的。
【链接】：https://www.aminer.cn/pub/67887412ae8580e7ff21e37b

FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors

【要点】：本文提出了FramePainter，一种基于视频扩散先验的交互式图像编辑方法，通过将图像编辑任务重新定义为图像到视频生成问题，降低了训练成本并确保了时序一致性，创新性地引入匹配注意力机制以扩大接受字段并促进编辑图像与源图像标记之间的密集对应。
【方法】：作者通过采用稳定视频扩散初始化，并使用轻量级稀疏控制编码器来注入编辑信号，创新性地应用了匹配注意力机制来处理帧间大运动的情况。
【实验】：本研究使用多个数据集进行实验，FramePainter在多种编辑信号上表现出色，显著超过了之前的最先进方法，且在训练数据远少于之前方法的情况下，实现了高度无缝和连贯的图像编辑效果，代码将公开于https://github.com/YBYBZhang/FramePainter。
【链接】：https://www.aminer.cn/pub/67872174ae8580e7ff9f9e81

MiniRAG: Towards Extremely Simple Retrieval-Augmented Generation

【要点】：本文提出了MiniRAG，一种面向极简性和效率的检索增强生成系统，通过创新的异质图索引机制和轻量级拓扑增强检索方法，实现了在小语言模型上具有与大型语言模型相当性能的检索增强生成。
【方法】：MiniRAG通过语义感知的异质图索引机制，将文本块和命名实体统一在结构中，以及采用轻量级拓扑增强的检索方法，来实现高效的知识的检索。
【实验】：作者在多个任务上评估了MiniRAG的性能，使用了自制的综合数据集进行实验，结果表明MiniRAG在使用小语言模型的情况下，性能可以与大型语言模型相媲美，同时所需的存储空间仅为后者的25%。相关实现和数据集已开源。
【链接】：https://www.aminer.cn/pub/6785d39fae8580e7ff519c58

SVFR: A Unified Framework for Generalized Video Face Restoration

【要点】：本文提出了一个稳定视频面部恢复（SVFR）的统一框架，用于广义视频面部恢复任务，整合了视频面部恢复、面部着色和面部修补任务，通过相互促进提高了恢复质量。
【方法】：通过利用稳定视频扩散（SVD）的生成性和运动先验，并结合任务特定的信息，引入可学习的任务嵌入来增强任务识别，采用统一潜在正则化（ULR）促进不同子任务之间的共享特征表示学习。
【实验】：在多个数据集上进行了实验，验证了所提方法在视频面部恢复质量和时间稳定性方面的优势，实验使用的数据集名称未在摘要中明确提及，但结果证明了该框架在面部先验学习和自我参照细化等辅助策略下的有效性。
【链接】：https://www.aminer.cn/pub/677752ebae8580e7fff4802f