- 博客(630)
- 资源 (82)
- 收藏
- 关注
RSS订阅
1原创 n8n推出自托管 AI 入门工具包，可在本地快速部署AI项目和低代码开发环境
n8n推出自托管 AI 入门工具包，可在本地快速部署AI项目和低代码开发环境
2024-10-22 23:20:40
274
原创 利用 PyTorch 进行深度学习训练过程中模型的 .eval() 和 .train() 属性介绍
利用 PyTorch 进行深度学习训练过程中模型的 .eval() 和 .train() 属性介绍
2024-10-21 22:59:46
852
原创 【论文解读】Edge-oriented Convolution Block for Real-time Super Resolution on Mobile Devices
【论文解读】Edge-oriented Convolution Block for Real-time Super Resolution on Mobile Devices
2024-10-17 23:04:41
558
原创 【论文解读】FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
【论文解读】FAST-VQA: Efficient End-to-end Video Quality Assessment with Fragment Sampling
2024-10-13 14:19:20
165
原创 【论文解读】KVQ: Kwai Video Quality Assessment for Short-form Videos
【论文解读】KVQ: Kwai Video Quality Assessment for Short-form Videos
2024-10-10 22:56:13
461
原创 Windows 环境下安装 Anaconda 并适配到 PowerShell 的保姆级教程
Windows 环境下安装 Anaconda 并适配到 PowerShell 的保姆级教程
2024-10-02 14:53:00
945
TokenPacker高效视觉投影器优化多模态大型语言模型
内容概要：本文提出了名为TokenPacker的新型高效视觉投影器用于多模态大规模语言模型（MLLM）。它采用了粗到细的方法，注入丰富特征，生成浓缩的视觉标记，同时保持高质量表现，在多种基准测试中显示出优于现有方法的效果，特别是在高分辨率图像理解上实现了更高的效率。TokenPacker能够将视觉标记压缩75%-89%，且性能媲美甚至超越前人研究。
适用人群：研究大规模多模态模型及其组件如视觉投影器的科研人员和技术开发者。
使用场景及目标：适用于希望提高视觉编码器与语言模型间的连接效果并减少计算成本的应用场合，尤其是在高分辨率图片或多模态场景的任务执行与理解环节。
其他说明：文中详细阐述了TokenPacker的设计思想、具体实现架构以及针对标准数据集实验的对比验证成果，为未来多模态任务处理提供了一种有效途径。
2024-10-15
基于谱聚类滤波器级剪枝方法用于压缩卷积神经网络
本文提出了一种新颖的用于压缩卷积神经网络（CNN）的方法——基于谱聚类滤波器级别的剪枝，旨在解决模型参数庞大的挑战，提高模型应用于移动设备时的有效性和实用性。该方法首先将预先训练好的CNN视为全连接无向图并运用谱聚类来识别过滤器之间的重复和冗余部分；再对相似的过滤器进行分组，仅保留下每个组内的一个代表性滤镜之后重新训练被精简后的CNN模型。通过实际实验发现相比传统方法，本方法能更好地区分相似的滤波器，在不同参数比下均能显著改善CNN精度性能，尤其是σ设置较大时效果最好；进一步验证表明所提剪枝算法对高维度的特征有良好的识别效果。
适合人群：深度学习、机器视觉领域的研究人员及工程师。
使用场景及目标：该研究方法尤其适用于减少复杂模型中的参数以达到更高的计算效率、节省存储空间的目标，同时尽可能维持原有的精确度。
该成果对于未来工作的启示是：深入探索提高相似性度量的可能性，整合各种剪枝技术从而获得最优修剪结果。除了图像分类任务外还需探索剪枝对于其它应用场景的实际效果。
2024-10-15
CogVideoX - 大规模基于扩散Transformer的文字到视频生成模型
内容概要：提出了CogVideoX模型架构及其多个技术革新方法，实现了从文本生成高分辨率（768x1360像素）、长时间、连贯的动作且丰富的语义视频的目标。论文提出了一种新的三维变分自编码器（3D VAE），一种融合专家Transformer以及混合训练技术和数据预处理流程，来克服以往研究中的局限，提高了生成质量与文本对齐效果，在多项量化评估指标上表现最优。
适合人群：图像处理研究员，视觉技术开发者，从事计算机图形学、深度学习领域的科研人员。
使用场景及目标：利用该方法可以用于创建长时、动作一致且高质量的视频素材，满足电影制片、视频合成等领域日益增长的内容创造需求；同时可用于视频压缩与解码等研究方向。
其他说明：论文介绍了多种改进措施，如混合视频尺寸的训练法、多分辨率帧包、明确均匀采样等方式优化视频模型的训练稳定性和效率。并在附录详细记录了实验细节、损失曲线、附加例子及图像转视频子任务的表现结果等内容。此外，团队还提供了训练好的CogVideoX两种参数量模型供公众免费下载。
2024-10-14
FAST-VQA: Efficient End-to-end Video Quality Assessment
摘要：当前的深度视频质量评估（VQA）方法在评估高分辨率视频时通常具有很高的计算成本。这种成本阻碍了它们通过端到端训练学习更好的与视频质量相关的表示。现有的方法通常考虑通过简单采样来减少计算成本，例如调整大小和裁剪。然而，它们明显破坏了视频中与质量相关的信息，因此不是学习VQA良好表示的最佳选择。因此，迫切需要设计一种新的保质采样方案。在本文中，我们提出了网格小补丁采样（Grid Mini-patch Sampling, GMS），它通过以原始分辨率采样补丁来考虑局部质量，并通过在均匀网格中采样的迷你补丁来覆盖全局质量与上下文关系。这些迷你补丁在时间上被拼接和对齐，被称为片段。我们进一步构建了专门为片段输入设计的片段注意力网络（Fragment Attention Network, FANet）。由片段和FANet组成，提出的FrAgment Sample Transformer for VQA (FAST-VQA) 实现了高效的端到端深度VQA，并学习有效的与视频质量相关的表示。它在1080P高分辨率视频上提高了约10%的最先进的准确性，同时减少了99.5%的FLOPs。新学习的视频
2024-10-13
KVQ: Kwai Video Quality Assessment for Short-form Videos
内容概要：本文针对短视频平台（如快手和抖音）中存在的复杂视频创作模式和复杂的加工流程所带来的两大挑战：（1）无法准确识别受复杂视频创作模式影响的质量决定性区域，导致视觉质量评估模型在区分受压缩失真和其他形式扭曲影响的低质量视频时面临困难；（2）由各种因素引入的杂糅失真使扭曲辨别更加困难，提出了一种新的大规模数据库——KVQ以及一种名为KSVQE的评估器。KVQ涵盖了丰富的内容场景并通过复杂的实际处理流水线获取不同混合扭曲；而KSVQE通过集成预训练CLIP对视觉语言模型来增强质量感知区选择模块和地区自适应调制，并用预先训练过的CONTRIQUE提取扭曲特征来提升对扭曲的理解。通过对数据库的广泛实验展示了KSVQE的有效性和泛化能力。
适用人群：从事短形态视频质量评估研究人员和技术爱好者。
使用场景及目标：为短形态视频的制作质量和优化评估提供可靠依据和技术支持，并进一步推动短形态视频领域的研究和发展，解决现有的UGC方法无法应用于视频多样性和复杂扭曲等问题。
其他说明：该研究成果已被实验证实能有效解决短形态UGC视频特有的挑战并在多项测试中获得了优于传统方法的表现，同时在跨数据集评估下显示了较好的迁移能力。
2024-10-10
基于静态和动态显著性检测的HEVC感知率控制方案
本文提出了一种新的内容感知率控制方法用于高效视频编码(HEVC)，这种方法综合考虑了人类视觉系统的特点，在静止和动态显著区域提供了更高的编码质量。文中提出了三种技术，即静止显著性检测、动态显著性检测和自适应比特率分配。作者训练了一个深层卷积神经网络来提取显著地图，并自动分割视频帧中的动态显著区域，从而灵活调整各编码树单位（CTU）级别的比特率分配，提高视觉关注区的质量。与标准的HEVC算法相比，实验证明平均能提高约1.85dB PSNR值而不增加比特负担，大幅改善观看体验。适用于不同类型的视频如常规视频，交谈视频以及体育视频，尤其在体育视频上可以大幅提升动态物体区域的显著性编码质量。
适合人群：研究高效视频编码、计算机视觉以及人机交互的研究人员及高级工程专业学生。
应用情况及目标群体主要包括：① 需对高质量、高精度视频进行压缩的专业领域，比如远程医疗影像视频编码优化和视频监控中的特定对象识别；② 关注视觉质量提升、减少带宽占用的应用程序开发。
进一步研究的方向包括：优化显著性探测的方式降低复杂度以及在更细致层次进行比特率控制的设计，如探索块级别的速率控制和基于神经网络的动态目标分割。
2024-09-30
Just Noticeable Distortion-Based Perceptual Rate Control in HEVC
内容概要：本文提出了一种用于高效率视频编码（HEVC）的基于视觉刚能察觉失真（JND）的率控制新方法。首先证明了HEVC中每个编码单元的失真因子近似等于该区域像素级别的平均JND权重值，这意味着可以将JND权重用作速率分配时的关键指标；然后提出了基于这一失真因子的率失真模型，并在此模型基础上制定了一整套改进后的HEVC系统中的率控制策略；最后利用这一模型解决了最小化畸变变异的目标。通过对比实验结果显示，本论文提出的算法相较于现有的HEVC基线工具软件在主观评分、峰值信噪比、结构相似性指标、数据压缩等方面均有显著优势。本方法不仅适用于当前的HEVC标准并且有潜力在未来继续进行优化扩展。
适合人群：专注于图像与视频压缩的编码工程师，以及从事多媒体技术研发的技术研究员等专业人士。
使用场景及目标：旨在提高视频传输过程中速率控制准确性并降低比特率的同时保障用户体验不受到明显的影响，提升基于人类生理特征的感知视频压缩效果，并优化整体编码质量。
其他说明：尽管算法的时间复杂度较高但鉴于该方法对感知质量方面的巨大改善，在移动设备视频压缩以及超高清实时通信的应用上有着重要的价值。
2024-09-30
基于深度强化学习的动态视频序列率控方法研究与应用
内容概要：针对High Efficiency Video Coding (HEVC)下具有快速运动物体、遮挡或者场景变化导致的高失真等问题提出了一个深度强化学习（DRL）解决方案，通过对Markov决策过程建模并运用深神经网络训练，提出的方法能够在实际视频编码标准中有效提升率控准确性，实验结果显示，在PSNR、MS-SSIM、VMAF等多个指标上都取得了明显的优势。
适用人群：专注于音视频流媒体传输质量优化的研究人员、软件开发者。
使用场景及目标：改善视频在网络环境限制下的质量，适用于视频压缩编码领域对复杂视频内容如高速移动镜头、物体显著遮蔽情况时的优化需求。
2024-09-30
Visual Studio 中 C++编程与模块使用的详尽指南
内容概要：本篇文章提供了微软Visual Studio环境下使用C++语言的全面指导资料。文章讲解了如何利用Visual Studio来开展C++开发活动——从安装步骤开始、创建第一个Hello World应用程序、探讨现代C++的最佳实践到逐步深入讨论C++语法特性和编译细节，同时覆盖Visual Studio环境中的模块使用技巧，帮助开发者理解模块相较于传统头文件的优势，掌握如何创建及整合模块到项目中去，极大提升了编译效率并且加强了代码的安全保障。
适用人群：从事C++开发的学习者与经验丰富的开发人员皆适用。
使用场景及目标：本资料特别适宜准备入门C++开发，想要探索现代C++特点或者是希望通过迁移到最新开发模式如模块来改进现有项目的工程师。
其他说明：尽管文中提到了一些面向VS2022的功能要求，但对于掌握了基础知识并在后续版本中持续关注C++更新的人来说也同样重要。
2024-09-30
边缘导向卷积块为移动设备提供实时超分辨率
文章提出了一种用于超分辨率模型高效设计的新架构--边缘导向卷积块（Edge-oriented Convolution Block，简称ECB），并基于ECB进一步设计了面向移动设备的超轻量级超级图像上采样网络ECBSR，在多种基准数据集测试验证了其实时性能及效率的有效性。
适合人群包括从事计算机视觉研究尤其是移动设备上的高效神经网络应用的研究员和技术工程师。
应用场景主要是为了满足实际部署需要，即利用移动设备有限计算硬件资源完成图像视频实时高质量地进行低分辨率至高分辨率转换，同时兼顾推理速度和内存消耗。
本文提供了深入分析现有模型瓶颈以及解决思路与方法的具体细节，旨在提供对当前移动平台图像恢复解决方案有所助益的探讨和实验成果。
2024-09-23
角色动画合成技术与模型-Anima Anyone框架详解
本论文提出了一种名为 Animate Anyone 的新方法来解决角色从静止图像到视频生成的一致性和可控制性的挑战，在扩散模型上进行改进，使其能够对任意角色产生清晰而稳定连贯的视频成果。利用提出的ReferenceNet合并细节特征并确保一致的外观保持，以及引入高效的姿态导向器来指导动作控制，最终实现了高质量的角色动画。这种方法在多个基准测试中的结果表明其相比其他方法拥有卓越表现。适用于具备基本深度学习背景的专业人员和技术研究人员。
适于有初步深度学习理论和技术背景的人士，如从事图像识别研究的研究者、动画制作专家。
该应用可以在动画创作软件平台中作为动画素材自动生成系统使用，主要目的是帮助动画创作者快速地创建高清晰度的人物动画。
该技术可以应用于艺术设计行业或娱乐媒体行业等多个领域的视觉生成，特别是在动画设计和虚拟偶像等领域内。然而，在操作时应注意不要滥用生成技术生产假冒视频，以免引起伦理争议和社会问题的发生。
2024-09-22
AV1视频编码中的受约束的方向增强滤波器(CDEF)
内容概要：本文提出了专为AV1免专利费视频编解码器设计的受约束的方向增强滤波器（Constrained Directional Enhancement Filter, CDEF），这是一种非线性低通滤波器，能够根据边缘方向适应地进行滤波，高效去除噪声而不会导致锐利边界模糊。介绍了用于确定滤波强度以及方向的滤波块选择方法。
适用人群：音视频传输软件开发商及音视频编解码技术的研究人员。
使用场景及目标：用于减少编码过程中产生的伪影效果，在保持图像细节的同时提高压缩效率，尤其针对复杂程度较低的配置提高了AV1和Thor等开源视频编解码器的质量。
其他说明：文中给出了实验结果表明了CDEF可以带来的位率降低的优势，最多达到AV1中的4.5%，Thor中的10.3%。对于视觉改进的实际效益超过位率收益的结果。
2024-09-20
FAST INTER-PREDICTION BASED ON DECISION TREES FOR AV1 ENCODING
这份文件是一篇关于AV1编码标准中基于决策树的快速帧间预测方法的研究论文。以下是其核心内容的概要：
**标题：**基于决策树的快速帧间预测方法用于AV1编码
**作者：**Jieon Kim, Saverio Blasi, Andre Seixas Dias, Marta Mrak, Ebroul Izquierdo (Queen Mary University of London & BBC R&D)
**摘要：**
- AV1视频编码标准通过使用许多先进的工具和改进实现了显著的压缩效率，但这增加了编码器的计算复杂性。
- 论文提出了一种基于决策树的方法，以选择性地决定是否测试所有帧间预测模式。
- 实验结果显示，该方法平均可以减少43.4%的编码时间，对编码效率的影响有限。
2024-09-20
高效H.264编码系统高配置文件的快速内预测算法
文章标题
Fast-efficient algorithm of high-profile intra prediction for H.264 encoding system
作者和机构
Shih-Chang Hsia1, Wing-Kwong Wong1, Yen-Hung Shih2
National Yunlin University of Science and Technology, Douliou, Taiwan
ACAD Tech Corp., Douliou, Taiwan
摘要
提出了一种用于高配置文件 H.264 编码器的快速内预测算法。
算法首先通过图像方差预决策算法排除不可能的块尺寸。
然后提出一种快速的 4×4 块预测算法，从九种预测模式中选择四种可能的模式。
通过分层方法，8×8 块预测基于所选的 4×4 块模式的结果。
该方法从 H.264 编码的九种预测模式中只选择一到五种模式。
模拟结果表明，与 H.264 系统内的帧内编码相比，提出的算法最多可以节省约 70% 的编码时间，同时只增加约 1% 的比特率和可忽略的峰值信噪比下降。
2024-09-14
FFmpeg 的交叉编译脚本
FFmpeg是一个开源的多媒体框架，它可以用来处理（编码、解码、转码、混流、过滤等）视频和音频数据。FFmpeg包括了libavcodec（一个编解码库），libavformat（一个音视频容器多路复用和解复用库），libavutil（包含一些共用的辅助函数和程序），以及其他几个库。
FFmpeg的功能非常强大，它可以用于：
转换格式：将视频文件从一种格式转换为另一种格式，例如将AVI转换为MP4。
提取音频：从视频文件中提取音频流。
视频处理：裁剪视频、调整大小、添加水印、应用滤镜等。
流媒体处理：处理实时视频流，如直播。
视频编码：将原始视频数据编码为特定格式，如H.264。
视频解码：将编码的视频数据解码为原始视频数据。
封装格式转换：改变视频文件的封装格式，而不需要重新编码视频流。
视频滤镜：应用各种视频滤镜效果，如模糊、锐化、色彩调整等。
字幕处理：添加、移除或转换字幕格式。
2024-09-12
Image Steganography: Basic Concepts and Proposed Algorithm
这篇文件是一篇关于图像隐写术的技术报告，标题为《Image Steganography: Basic Concepts and Proposed Algorithm》，由 Manish Munikar 在 2016 年 6 月撰写。以下是其核心内容的概述：
1. **隐写术简介**：
- 隐写术是隐形通信的艺术和科学，通过将信息隐藏在其他载体媒介中实现。
- 数字图像是最受欢迎的载体，因为它们在互联网上频繁使用。
2. **隐写术的历史**：
- 隐写术在人类文明历史上以多种形式存在，例如古代中国、古希腊和文艺复兴时期的方法。
3. **密码学与隐写术的区别**：
- 密码学通过将信息加密成随机位来保护信息内容，而隐写术的目的是隐藏通信本身的存在。
- 两者通常结合使用，以提供完整的信息安全。
4. **隐写术的应用**：
- 用于安全通信，如在图像或视频中隐藏消息。
- 用于版权控制和水印，以及智能身份证和文件校验和。
5. **图像隐写术**：
- 专注于在图像文件中隐藏消息，原始图像称为封面图像，隐藏消息后的图像称为隐写图
2024-09-12
A fast intra mode decision algorithm combining neighboring info
论文提出了一种用于H.264/AVC高配置文件的快速帧内模式决策算法，旨在降低编码复杂度。
算法基于当前块的内容以及邻块的空间连续性来选择最佳预测模式。
通过使用重建的邻域像素，不同的预测模式会导致不同的残差块，算法利用残差块的特征来辅助模式决策。
提出的算法使用绝对变换差之和（SATD）来衡量残差块，并使用最可能的模式来指示邻块预测模式的影响。
实验结果表明，与全搜索算法相比，所提出的算法在编码性能略有下降的情况下，有效降低了帧内预测的复杂度
2024-09-03
A Temporal Pre-Filter For Video Coding Based On Bilateral Filter
这份文件是一篇关于视频编码中时域预滤波技术的研究论文，主要介绍了一种基于双边滤波的时域预滤波方法，用于提高视频编码效率。以下是该文件的核心内容概要：
**标题：**基于双边滤波的视频编码时域预滤波
**作者：**Jack Enhorn, Rickard Sjoberg, Per Wennersten - 爱立信研究部，瑞典
**摘要：**本文提出了一种运动补偿的时域双边去噪预滤波器，用于视频编码。该滤波过程在编码前应用，使用当前图像前后最近的两幅图像、当前图像在图像组（GOP）层级中的位置以及量化参数（QP）的值来过滤当前图像。该滤波器既适用于随机访问也适用于低延迟配置，在低延迟配置中不使用后续图像。据报道，与VTM-7.0视频编码器相比，该滤波器在随机访问配置下平均亮度BD率降低了3.9%，且在较低编码比特率下，主观质量与VTM-7.0相当或更好。
2024-09-02
Inter-Block Dependency-Based CTU Level Rate Control for HEVC
本文提出了一种受先前关于时间依赖性RDO的工作启发的编码树单元（CTU）级别的速率控制方法，以获得更高的率失真（R-D）性能和更低的比特率误差。
主要贡献和方法包括：
将混合视频编码中的全局优化问题公式化，并基于加权拉格朗日乘数提出了一个通用解决方案框架。加权系数与编码单元间时间依赖性的强度有关，引入了一个传播因子以定量测量时间依赖性。
提出了一种CTU级别R-D模型的估计方法，以更准确地表征R-D关系。
在帧级比特预算的约束下，开发了一种结合块间依赖性和R-D特性的公式，用于CTU级别的最佳比特分配。
在编码帧的过程中，采用了宽松约束算法（RCA）和严格约束算法（SCA），分别用于减少当前帧实际比特数与目标比特数之间的差异。
实验结果表明，在HEVC测试模型（HM-16.7）上，包括RCA和SCA在内的所提方法在降低比特率误差的同时，实现了显著的R-D性能提升，超越了现有的最先进方案。值得一提的是，即使与没有速率控制的HEVC相比，RCA在低延迟P和B帧配置下仍可分别平均节省5.4%和5.1%的比特率。
2024-08-30
Fuzzy SVM-Based Coding Unit Decision in HEVC
介绍了一种针对高效率视频编码（HEVC）标准的视频压缩优化方法。HEVC相比于其前身H.264/AVC，在编码效率上取得了显著提升。然而，由于采用了四叉树结构的编码单元划分以及其他复杂的编码工具，HEVC的计算复杂度大幅增加。
为了解决这一问题，研究者提出了一种基于模糊支持向量机（SVM）的编码单元（CU）决策方法，用于率失真复杂度（RDC）优化。该方法将CU的决策过程构建为一个级联的多级分类任务，并根据定义的误分类成本选择最优特征集。此外，引入了一个风险区域以处理不确定的分类输出。
为了进一步提高RDC性能，研究者采用了不同的SVM调节参数，并且消除了训练样本中的异常值。研究者还将提出的CU决策方法集成到一个联合RDC优化框架中，在该框架中，风险区域的宽度可以自适应调整，以便根据不同CU灵活分配计算复杂度，目标是在可配置的RD性能退化约束下最小化计算复杂度。
实验结果表明，该方法在低延迟P和随机访问配置下，平均可以减少58.9%和55.3%的计算复杂度，并且Bjøntegaard delta峰值信噪比（PSNR）值分别为-0.075 dB和-0.085 dB，Bjøntegaa
2024-08-30
An All-Zero Block Mode Decision Algorithm for H.264/AVC Optimiza
摘要
H.264/AVC标准通过采用多种块尺寸的运动估计（ME）显著提高了编码效率，但这也导致了运动估计和离散余弦变换（DCT）的复杂性大幅增加。
作者之前提出了一种基于16×16尺寸的全零块（AZB）检测的早期模式决策算法来控制复杂性。
本文改进了这一算法，包括在16×16、8×8和4×4尺寸上检测AZB，定义了用于提前终止运动估计和模式决策的阈值，并展示了整个算法。
实验结果表明，平均可以节省约77%的编码时间和85%的运动估计时间，优于现有技术。
1. 引言
介绍了H.264/AVC标准及其在编码效率上的优势，以及编码过程中计算复杂性的问题。
讨论了减少编码计算量的方法，特别是减少运动估计的计算量。
2. 提出的算法
介绍了运动估计和模式决策的过程，包括成本函数的评估和模式选择。
改进的AZB模式决策算法，包括在16×16、8×8和4×4尺寸上检测AZB，并基于这些检测结果简化ME和DCT的过程。
定义了不同尺寸的阈值，用于预测AZB并提前终止ME和MD。
3. 实验结果
通过一系列实验评估了所提出的算法，包括在不同分辨率和QP（量化参数）下的性能。
实验结果显示，所提出的算法在
2024-08-27
Rate Control via Adjustment of Lagrange Multiplier for Video
这篇论文《Rate Control via Adjustment of Lagrange Multiplier for Video Coding》主要研究了视频编码中速率控制机制的改进方法。以下是论文的核心内容概述：
1. **问题背景**：视频编码器需要将大量的视觉信号压缩成较小的比特流。编码过程中，需要为每个编码单元找到最佳的参数组合，包括运动向量、量化步长、块大小和预测模式等。
2. **速率-失真（Rate-Distortion, R-D）理论**：在给定的比特率约束下，寻找最佳参数组合以最小化失真。
3. **Lagrange乘数λ**：用于在R-D优化过程中，根据比特生成量调整量化参数（Quantization Parameter, QP）。
4. **算法提出**：论文提出了一种基于随机次梯度方法自适应调整Lagrange乘数λ的速率控制机制，以提高视频编码的R-D性能。
5. **λ值预测QP**：利用对数线性模型预测最可能的QP值，从而缩小搜索范围。
6. **λ值更新**：使用生成的比特数更新下一个编码单元的λ值。
7. **实验结果**：实验结果表明
2024-08-21
Macroblock Level Rate Control for H264.pdf.zip
这篇论文的核心内容是关于一种基于ρ域速率模型的宏块（Macroblock, MB）级别的速率控制算法，用于低延迟的H.264/AVC视频通信。以下是论文的关键点概述：
1. **算法提出**：提出了一种新的宏块级速率控制算法，用于改善低延迟H.264/AVC视频通信的质量和比特率准确性。
2. **ρ域模型**：算法基于ρ域速率模型，ρ定义为量化后零变换系数的百分比，与输出纹理比特之间存在线性关系。
3. **量化步长（Qstep）和量化参数（QP）**：使用指数模型来描述MB级别的ρ和量化步长之间的关系，从而获得每个MB的量化参数（QP）。
4. **切换QP计算方案**：为了避免实际帧大小与目标比特预算之间的大偏差，引入了一种切换QP计算方案。
5. **算法改进**：与原始的ρ域速率控制相比，所提出的方法在视频质量和比特率准确性方面都有改进，并且显著降低了计算复杂性。
6. **实验结果**：通过实验验证了所提算法的有效性，包括视频质量（PSNR）、比特率准确性、以及编码时间的减少。
7. **算法细节**：
- 描述了原始的ρ域速率控制方法。
- 提出
2024-08-21
libvpx 源码，vp8-vp9
Libvpx 是一个开源的库，用于编码和解码视频，特别是VP8和VP9格式的视频。它是由WebM项目的一部分，旨在提供高质量的视频编码，同时保持高效的压缩。Libvpx 通常用于网页视频、流媒体服务和其他需要视频压缩的场景。如果你需要更具体的信息或者帮助，请提供更多的上下文或者问题。
2024-08-21
An Improved Initial Quantization Parameter Setting Algorithm
问题背景：H.264/AVC的速率控制算法中，初始量化参数（QP）的估计仅依赖于每像素的比特数，这在复杂视频序列和低目标比特率下不够准确，可能导致帧跳过、平均峰值信噪比（PSNR）值下降和PSNR波动。
改进算法：论文提出了一种基于帧内复杂度和每像素比特数的改进的初始量化参数设置算法。通过使用梯度来衡量图像复杂度，并定义了函数
F
(
G
)
=
e
1
2
⋅
G
+
e
2
⋅
G
+
e
3
F(G)=e
1
2
⋅G+e
2
⋅G+e
3
来调整初始QP值。
实验结果：与H.264/AVC标准参考软件JM8.6的算法相比，改进的算法在PSNR和比特率准确性上有所提高，同时减少了PSNR波动。
实验设置：测试序列采用标准QCIF格式，目标比特率为64kb/s，帧率为15帧/秒，编码100帧，采用IPPP编码模式。
算法细节：
初始QP设置：基于每像素比特数（BPP）和I帧的复杂度来计算。
梯度定义：
G
=
1
W
⋅
H
∑
i
,
j
∣
P
i
,
j
−
P
i
−
1
,
j
+
P
i
,
j
−
1
−
P
i
−
1
,
j
−
2024-08-20
Deep Learning of Human Visual Sensitivity in IQA
这篇论文《Deep Learning of Human Visual Sensitivity in Image Quality Assessment Framework》由Jongyoo Kim和Sanghoon Lee撰写，发表于CVPR 2017。论文提出了一个基于卷积神经网络（CNN）的全参考图像质量评估（FR-IQA）模型，称为Deep Image Quality Assessment（DeepQA）。这个模型从IQA数据库的底层数据分布中学习人类视觉系统（HVS）的行为。
以下是论文的核心内容概述：
背景：图像质量评估（IQA）的最终目标是预测感知质量。传统上，许多FR-IQA方法采用了基于心理学视觉科学研究的各种HVS计算模型。
DeepQA模型：提出了一个新的基于CNN的FR-IQA模型，它从IQA数据库的数据分布中学习HVS的行为，而不是依赖于HVS的先验知识。
方法：DeepQA模型使用失真图像、其目标误差图和真实主观分数的三元组来学习生成视觉敏感度图，该图是一个描述HVS每个像素视觉重要性的加权图。
实验结果：实验表明，预测的视觉敏感度图与人类主观意见一致
2024-08-16
Deep Video Quality Assessor
这篇论文《Deep Video Quality Assessor: From Spatio-temporal Visual Sensitivity to A Convolutional Neural Aggregation Network》由Woojae Kim等人撰写，发表于ECCV 2018。它提出了一个全新的全参考视频质量评估（VQA）框架，名为Deep Video Quality Assessor（DeepVQA），利用卷积神经网络（CNN）和卷积神经聚合网络（CNAN）来量化视频的空间-时间视觉感知。
以下是论文的核心内容概述：
1. **问题背景**：随着视频流服务需求的爆炸性增长，提供高质量的视频变得至关重要。视频质量评估（VQA）对于提供满意的流媒体服务给用户扮演着重要角色。
2. **研究目标**：开发一个能够将人类感知融入视频质量评估的模型或方法。
3. **DeepVQA框架**：提出了一个新的VQA框架，使用CNN和CNAN来学习主观评分，并量化空间-时间视觉感知。
4. **空间-时间视觉敏感性**：通过学习，框架能够理解人类视觉系统（HVS）对视频
2024-08-16
A Fast Inter Mode Decision Approach Based on Machine Learning fo
这篇文件是一篇关于视频压缩技术的研究论文，标题为《A Fast Inter Mode Decision Approach Based on Machine Learning for Video Compressor》，作者来自Intel Corporation Shanghai。以下是这篇论文的核心内容概述：
摘要：
论文提出了一种基于机器学习的视频编码器中帧间模式决策的快速方法，以减少冗余计算，提高编码速度。
该方法使用逻辑回归模型，并结合三个特征：量化参数（QP）、方差以及16x16宏块的最佳率失真（RD）成本。
实验结果显示，与x264编码器中的现有快速模式相比，编码速度提高了13.5%，质量提高了0.15%。
2024-08-16
Motion Estimation Based On H.264 Video Coding
标题
Motion Estimation Based On H.264 Video Coding
作者
Yufeng Li, Jufei Xiao, Wei Wu
来自中国沈阳航空航天大学电子信息工程学院
摘要
运动估计是H.264视频编码标准中最重要且最耗时的部分，约占编码时间的60%-80%。
研究高效的快速运动估计算法是视频压缩技术中的一个重要课题。
本文基于H.264标准，选择X264作为测试代码，分析了X264中的四种运动估计算法。
通过引入非对称小钻石搜索，减少搜索点数，优化部分算法，改进了非对称十字形多级六边形网格点搜索算法（UMHexagonS），提高了运动估计算法的效率。
提出了非对称十字形多级八边形网格点搜索算法（X264_ME_UMO）。
通过多种视频序列的测试，证明了改进的算法在对图像质量和比特率影响很小的情况下，平均可以提高编码速度约17%，并有效降低了计算复杂性，更好地满足实际应用需求。
2024-08-16
Screen Content Video Quality Assessment
这篇论文的核心内容是关于屏幕内容视频（Screen Content Videos, SCVs）的主观和客观质量评估。主要贡献和研究点包括：
1. **屏幕内容视频数据库（SCVD）的构建**：这是首个专门为SCVs设计的大规模视频质量评估数据库，包含16个参考SCVs、800个不同失真类型的SCVs以及相应的主观评分。
2. **失真类型和等级**：800个失真SCVs是基于10种不同的失真类型和每种失真类型5个失真等级生成的。
3. **主观测试**：至少32名受试者对每个失真SCV进行了评分，以评估视频质量。
4. **全参考视频质量评估模型（SGFTM）的提出**：首个针对SCVs的全参考客观质量评估模型，利用3D-Gabor滤波器提取视频的时空Gabor特征张量，通过测量参考和失真SCVs之间的相似性来评估视频的感知质量。
5. **实验结果**：提出的SGFTM在SCVD上的实验结果显示，与多种经典和最先进的图像/视频质量评估模型相比，SGFTM具有更高的一致性，并在客观评分与主观感知之间提供了更好的相关性。
6. **研究支持**：该研究得到了中国国家自然科学基
2024-08-14
C3DVQA: FULL-REFERENCE VIDEO QUALITY ASSESSMENT WITH 3D CONVOLUT
这篇论文的标题是《C3DVQA: FULL-REFERENCE VIDEO QUALITY ASSESSMENT WITH 3D CONVOLUTIONAL NEURAL NETWORK》，作者包括Munan Xu、Junming Chen、Haiqiang Wang、Shan Liu、Ge Li和Zhiqiang Bai。论文由北京大学深圳研究生院电子与计算机工程学院、腾讯媒体实验室和鹏城实验室共同完成。
核心内容概述：
问题背景：
传统的视频质量评估（VQA）方法主要评估局部图像质量，通过时间聚合帧分数来预测视频得分。
视频质量与静态图像质量不同，因为存在时间掩蔽效应。
研究内容：
本文提出了一种名为C3DVQA的新架构，使用3D卷积神经网络（C3D）进行全参考视频质量评估任务。
C3DVQA结合了特征学习和分数池化到一个时空特征学习过程中。
方法论：
使用2D卷积层提取空间特征，3D卷积层学习时空特征。
实证发现3D卷积层能够捕捉视频的时间掩蔽效应。
在LIVE和CSIQ数据集上评估了所提出的方法，实验结果表明该方法达到了最先进的性能。
2024-08-13
A Novel Rate Control Method for Still Image Coding
提出了一种新的码率控制方法，用于不同的静态图像编码器，例如JPEG图像和视频编码中的内帧。
基于梯度的复杂性构建了一个通用的块级Rate-Quantization (R-Q)模型。
通过R-Q模型为单帧/图像编码生成特定的量化参数(QP)。
实验结果显示，该方法在JPEG编码器和x264编码器上分别达到了94.5%和99.75%的比特匹配精度。
2024-08-08
Performance Comparison of H.264 and H.265 Encoders for 4K Video
这篇文件是一篇关于H.264和H.265编码器在4K视频序列性能比较的学术论文。以下是其核心内容的概述：
背景介绍：随着电视行业对超高清需求的增长，4K超高清技术成为焦点。H.264和HEVC（H.265）是编码4K超高清信号最常用的两种技术。
4K视频发展：4K技术相比高清技术有更多优势，例如图像信息是高清的四倍，帧率增加和色域扩展有利于快速运动的显示和图像细节的展示。
4K视频编码技术：4K电视信号的比特率远高于高清电视信号，因此需要高效的视频编码技术。H.264和HEVC是两种主要的4K编码技术。
H.264及其测试平台：H.264是2003年由ITU-T和ISO/IEC制定的标准，至今仍是最广泛使用的标准。x264是一个开源的H.264/MPEG-4 AVC视频编码库。
HEVC及其测试平台：HEVC是继H.264之后的新一代视频编码标准，具有更高的压缩比、更快的处理速度和更好的适应能力。x265是符合HEVC/H.265视频编码标准的开源软件库。
2024-08-08
Performance comparison among popular implementations of H.264
这篇论文《Performance comparison among popular implementations of H.264 encoders》由H Y El-Arsh等人撰写，发表在《IOP Conference Series: Materials Science and Engineering》上，主要进行了H.264编码器不同流行实现的性能比较。以下是论文的核心内容概述：
背景与动机：
论文讨论了无人机(UAV)携带的高分辨率相机捕获的遥感视频，这些视频需要有效的压缩方案以在保持视觉内容细节的同时减少实时管理的数据总量。
H.264编码器实现：
论文详细比较了JM-encoder、X264、FFmpeg和Cisco的OpenH264这四种开源实现的H.264视频压缩方案。
性能指标：
比较的指标包括压缩效率、视频质量和计算负载。
实验结果：
通过20个不同分辨率和动态内容的视频组合，使用PSNR作为质量度量，展示了率-失真曲线。
H.264编码器概述：
论文简要介绍了H.264编码器的工作流程，包括运动估计、运动补偿、预测误差计算、变换、量化、逆量化、逆变
2024-08-07
A Study on Multi-Screen Sharing System Using H.264/AVC Encoder
● H.264/AVC标准：
○ H.264/AVC是由国际电信联盟（ITU-T）视频编码专家组（VCEG）和国际标准化组织/国际电工委员会（ISO/IEC）移动图像专家组（MPEG）共同开发的视频压缩标准。
● 计算复杂性问题：
○ H.264/AVC标准的计算复杂性较高，这在多屏共享系统中导致了显著的延迟。
● X264中的运动估计算法：
○ X264是一个流行的开源H.264/AVC编码器，提供了多种运动估计算法。本文对这些算法进行了分析。
● 优化算法的提出：
○ 论文提出了一种优化的运动估计算法，旨在减少不必要的计算量，提高编码效率。
● 多屏共享系统的设计与实现：
○ 论文设计并实现了一个采用改进编码器的多屏共享系统，该系统利用了提出的优化算法。
● 实验结果：
○ 实验结果表明，所提出的方法在保持几乎不损失质量的前提下，提高了编码速度并减少了延迟时间。
● 质量与效率的平衡：
○ 论文强调了优化算法在提升编码速度和降低延迟的同时，对视频质量的影响非常小。
2024-08-07
Content Adaptive Live Encoding with Open Source Codecs
视频编解码器的不断演进：广播公司使用的流媒体解决方案中的视频编解码器正在不断进化，新的编解码器越来越复杂。
软件编解码器的兴起：由于复杂性增加，广播公司开始考虑使用基于软件的编解码器解决方案，而不是传统的基于硬件的编解码器，因为软件编解码器提供了更大的灵活性。
开源软件编解码器的成熟：流行的AVC标准下的开源软件编解码器x264和新兴的HEVC标准下的x265现在已经足够成熟，可以被广播公司认真考虑用于部署。
现有编解码器的局限性：尽管这些编解码器在标准实现中很强大，但它们通常使用单一的编码器设置来处理给定的流，而不会根据输入内容动态调整编码器。这导致编码器必须使用保守的设置来维持目标帧率，结果可能是编码效率低下，要么比给定质量意图使用的比特多，要么在给定比特率下实现的质量低于可能达到的质量。
PID控制器架构：本文和相关演示介绍了一种使用PID（比例-积分-微分）模块的架构，该架构可以用于内容自适应的实时编码，并讨论了其在流行的开源编解码器x264和x265中的实现。
PID控制器的功能：PID控制器监控编码器实现的动态帧率，并重新配置编码器的各种参数，以确保在维持预期帧率
2024-08-06
Comparative Evaluation of VVC, HEVC, H.264, AV1, and VP9 Encoder
研究背景：随着互联网和无线通信技术的发展，高清晰度和超高清晰度视频的实时应用变得越来越普遍。视频是一种带宽密集型媒体流，因此出现了多种编解码器（如AV1和Versatile Video Coding，VVC），它们采用不同技术以实现更好的压缩效率。
研究目的：评估不同视频压缩标准的性能，以选择适合特定应用的编解码器。本研究特别关注低延迟视频应用，如视频监控或道路安全。
研究方法：使用了七种编码器实现（AV1、VP9、VVC、HEVC 和 H.264）进行基准测试，包括官方参考软件和工业界优化版本。实验使用了17个输入视频和两种定量属性（编码时间和编码大小）。
实验设置：实验采用了低延迟配置模式，以提供与随机访问和全内嵌配置相比最低的延迟。选择了适合评估低延迟应用的Class C视频序列。
研究结果：
VVC在压缩性能上超越了其前身，即使与优化版本（x265, x264）相比，尽管编码运行时间显著增加。
VP9在工业标准下提供了与后继者AV1相当的比特率开销。
实验结果显示，每种新一代编解码器在编码效率上都优于其前身，但计算复杂性也随之增加。
2024-08-06
Fast Adaptive Early Termination for Mode Selection in H.264/AVC
1. 关键特点：
○ 空间和时间信息的利用：算法使用空间和时间信息通过自适应阈值实现早期终止，以减少计算量。
○ 可调节的调节器：包含一个可以平衡计算效率和准确性的调节器。
○ 基于自适应阈值的均匀区域检测：为8x8块提供了一种基于自适应阈值的均匀区域检测程序。
2. 主要步骤：
○ 模式预测：利用邻近宏块的空间和时间信息来预测当前宏块的最佳模式。
○ 基于自适应阈值的早期终止：如果当前宏块的特定模式的率失真成本低于自适应阈值，则停止检查其他模式。
○ 所有模式的细化：如果早期终止失败，则检查所有模式以确保最佳选择。
3. 纹理信息的利用：
○ 为了避免将8x8块细分为更小的块，利用纹理信息来避免不必要的计算。
4. 计算效率：
○ 与传统的快速方法相比，所开发的方法在计算上更为高效。
5. 实验结果：
○ 通过在QCIF、CIF和HD格式的视频序列上基于x264实现的实验结果，展示了所开发方法的计算效率，同时在视频质量损失方面是可以接受的。
6. 视频质量损失：
○ 虽然算法提高了计算效率，但可能会有一些视频质量的损失，这些损失在可接受的范围内
2024-08-05
A FAST SEARCHING ALGORITHM BASED ON ADAPTIVE DIRECTION HYBRID
1. 问题分析：分析了开源H.264/AVC视频编码器的运动估计算法，指出不必要的搜索点数量会影响算法的速度。
2. 新算法提出：文章提出了一种基于x264自适应搜索方向的新型快速混合模板搜索算法。
3. 自适应阈值：设置了匹配宏块的自适应阈值，用于减少不必要的搜索点。
4. 混合搜索模式：利用一系列自适应的混合搜索模式，进一步减少不必要的搜索点。
5. SAD计算优化：通过改进的MRACO PIXEL_SAD_C算法减少SAD（绝对差之和）的计算时间。
6. 实验结果：实验结果表明新算法是有效的，能够提高运动估计的效率。
2024-08-02
Temporal Context Mining for Learned Video Compression
论文专注于端到端学习型视频压缩技术，特别关注时间上下文的学习和利用。提出了一种存储先前重建帧和传播特征到广义解码图像缓冲区的方法。利用这些传播特征学习多尺度时间上下文，并将这些上下文重新填充到压缩方案中，包括上下文编码器-解码器、帧生成器和时间上下文编码器。该方案放弃了自回归熵模型，以追求更实用的解码时间，并与x264、x265以及H.264、H.265和H.266的官方参考软件进行了比较，在特定的内部周期和面向PSNR或MS-SSIM时，展示了比现有技术更好的性能。
2024-08-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人