- 博客(137)
- 收藏
- 关注
RSS订阅原创 深度学习论文分享（九）Unifying Motion Deblurring and Frame Interpolation with Events
在此仅做翻译基于帧的相机快门速度慢，曝光时间长，往往会造成视觉模糊和帧间信息丢失，从而降低拍摄视频的整体质量。为此，我们提出了一个基于事件的运动去模糊和帧插值的统一框架，用于模糊视频增强，其中利用极低的事件延迟来缓解运动模糊并促进中间帧预测。首先利用可学习的二重积分网络预测模糊帧与锐隐图像之间的映射关系，然后利用连续模糊输入和并发事件的信息，提出融合网络对粗糙结果进行细化。通过探索模糊帧、潜在图像和事件流之间的相互约束，我们进一步提出了一种自监督学习框架，使网络训练能够使用真实世界的模糊视频和事件。
2023-09-01 10:46:15
495
原创 深度学习论文分享（八）Learning Event-Driven Video Deblurring and Interpolation
暂无??在此仅做翻译基于事件的传感器在像素强度变化超过触发阈值时具有响应，可以以微秒级精度捕获高速运动。在事件相机的辅助下，我们可以从低帧率的模糊视频中生成高帧率的清晰视频。本文提出了一种有效的基于深度卷积神经网络(cnn)的事件驱动视频去模糊和插值算法。基于模糊图像和锐帧之间的残差是事件积分的物理模型，该网络利用事件来估计锐帧恢复的残差。由于触发阈值的空间变化，我们提出了一种有效的估计动态滤波器的方法来解决这一问题。为了利用时间信息，还考虑了从之前的模糊帧恢复的清晰帧。
2023-08-30 19:42:05
410
原创 深度学习论文分享（七）Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild
论文代码：在此仅做翻译扩散模型在单幅图像的超分辨率和其他图像到图像的转换任务中显示出很好的结果。尽管取得了成功，但它们在更具挑战性的盲超分辨率任务上的表现并没有超过最先进的GAN模型，在盲超分辨率任务中，输入图像没有分布，并且存在未知的退化。本文介绍了一种基于扩散的盲超分辨模型SR3+，建立了一种新的技术。为此，我们提倡将自监督训练的复合、参数化退化和训练和测试过程中的噪声调节增强相结合进行自监督训练。通过这些创新，大规模卷积架构和大规模数据集，SR3+大大优于SR3。
2023-08-16 14:18:32
680
原创 深度学习论文分享（六）Simple Baselines for Image Restoration
在此仅做翻译尽管近年来在图像恢复领域取得了重大进展，但最先进的(SOTA)方法的系统复杂性也在增加，这可能会阻碍方法的方便分析和比较。在本文中，我们提出了一个简单的基线，它超过了SOTA方法，并且计算效率很高。为了进一步简化基线，我们揭示了非线性激活函数，如Sigmoid, ReLU, GELU, Softmax等是不必要的:它们可以用乘法代替或删除。因此，我们从基线推导出一个非线性激活自由网络，即NAFNet。
2023-08-03 23:49:20
1154
原创 深度学习论文分享（五）DDFM: Denoising Diffusion Model for Multi-Modality Image Fusion
在此仅做翻译多模态图像融合的目的是将不同的模态结合在一起，产生融合的图像，这些图像保留了每种模态的互补特征，如功能亮点和纹理细节。为了利用强大的生成先验并解决基于gan的生成方法的训练不稳定和缺乏可解释性等挑战，我们提出了一种基于去噪扩散概率模型(DDPM)的新型融合算法。将融合任务表述为DDPM采样框架下的条件生成问题，并进一步划分为无条件生成子问题和极大似然子问题。后者是在一个层次贝叶斯方式与潜在变量建模，并通过期望最大化算法推断。
2023-07-25 18:29:36
1578
2
原创 深度学习论文分享（四）Retentive Network: A Successor to Transformer for Large Language Models
在此仅做翻译在这项工作中，我们提出保留网络(RETNET)作为大型语言模型的基础架构，同时实现训练并行性，低成本推理和良好的性能。我们从理论上推导了递归和注意力之间的联系。然后提出了序列建模的保留机制，该机制支持并行、递归和块递归三种计算范式。具体来说，并行表示允许训练并行性。循环表示支持低成本的O(1)推理，从而在不牺牲性能的情况下提高解码吞吐量、延迟和GPU内存。块递归表示促进了具有线性复杂性的高效长序列建模，其中每个块在循环汇总块的同时并行编码。
2023-07-24 18:14:59
920
原创 深度学习论文分享（三）Look More but Care Less in Video Recognition（NIPS2022）
在此仅做翻译（经过个人修改，有基础的话应该不难理解），有时间会有详细精读笔记。现有的动作识别方法通常会采样几帧来表示每个视频，以避免大量的计算，这往往会限制识别性能。为了解决这个问题，我们提出了 Ample and Focal Network (AFNet)，它由两个分支组成，以利用更多的帧但计算量更少。具体来说，Ample Branch 通过压缩计算获取所有输入帧以获得丰富的信息，并通过所提出的 Navigation Module 为 Focal Branch 提供指导；
2023-06-03 20:35:54
525
原创 深度学习论文分享（二）Data-driven Feature Tracking for Event Cameras
在此仅做翻译（经过个人修改，有基础的话应该不难理解），有时间会有详细精读笔记。由于其高时间分辨率、增强的运动模糊恢复能力和非常稀疏的输出，事件摄像机已被证明是低延迟和低带宽特征跟踪的理想选择，即使在具有挑战性的场景中也是如此。现有的事件摄像机特征跟踪方法要么是手工制作的，要么是从第一性原理推导出来的，但需要大量的参数调整，对噪声敏感，并且由于未建模的效果而不能推广泛化到不同的场景。为了解决这些不足，我们为事件摄像机引入了第一个数据驱动的特征跟踪器，它利用低延迟事件来跟踪在灰度帧中检测到的特征。
2023-04-26 20:54:46
1476
1
原创 计算机图形学——游戏方向 第一章 计算机图形学概述
课程原链接现代游戏是计算机图形学的应用。现代电源是计算机图形学的应用。计算机图形学是物理学的应用。计算机图形学是生理学的应用。计算机图形学是艺术的延伸。
2023-04-11 21:48:28
1377
3
原创 深度学习论文分享（一）ByteTrackV2: 2D and 3D Multi-Object T racking by Associating Every Detection Box
在此仅做翻译（经过个人调整，有基础的话应该不难理解），有时间会有详细精读笔记。多目标跟踪(MOT)旨在估计视频帧内物体的边界框和身份。检测框是二维和三维MOT的基础。检测分数不可避免的变化会导致跟踪后的目标缺失。我们提出了一种分层的数据关联策略来挖掘低分检测框中的真实目标，缓解了目标缺失和轨迹碎片化的问题。简单而通用的数据关联策略在2D和3D设置下都显示了有效性。在3D场景中，跟踪器更容易预测世界坐标中的物体速度。
2023-04-09 19:55:12
1610
1
原创 YOLOV8改进：如何增加注意力模块？（以CBAM模块为例）
因为毕设用到了YOLO，鉴于最近V8刚出，因此考虑将注意力机制加入到v8中。添加注意力模块只需要3步1、在对应的modules.py中添加需要的模块2、在task.py中引入modules.py中的模块，并进行适当的参数匹配3、修改对应的models文件夹中的yaml文件，并注意层数问题。之后就可以进行正常训练了。
2023-03-22 17:43:27
16651
39
原创 深度学习入门（六十七）循环神经网络——注意力机制
循环神经网络——注意力机制课件心理学注意力机制注意力机制是显式地考虑随意线索非参注意力池化层Nadaraya-Watson 核回归：总结教材（注意力提示）1 生物学中的注意力提示2 查询、键和值3 注意力的可视化4 小结教材（注意力汇聚：Nadaraya-Watson 核回归）1 生成数据集2 平均汇聚3 非参数注意力汇聚4 带参数注意力汇聚4.1 批量矩阵乘法4.2 定义模型4.3 训练5 小结
2023-02-23 13:05:57
1492
原创 深度学习入门（六十五）循环神经网络——序列到序列学习（seq2seq）
课件机器翻译seq2seq编码器-解码器细节训练衡量生成序列的好坏的BLEU总结教材1 编码器2 解码器3 损失函数4 训练5 预测6 预测序列的评估7 小结
2022-12-21 00:18:12
656
原创 深度学习入门（六十四）循环神经网络——编码器-解码器架构
课件重新考察CNN重新考察RNN编码器-解码器架构总结教材1 编码器2 解码器3 合并编码器和解码器4 训练模型5 小结参考文献
2022-12-20 23:49:25
7744
原创 深度学习入门（六十二）循环神经网络——双向循环神经网络
课件未来很重要双向RNN推理总结教材1 隐马尔可夫模型中的动态规划2 双向模型2.1 定义2.2 模型的计算代价及其应用3 双向循环神经网络的错误应用4 小结
2022-12-19 19:51:36
847
原创 深度学习入门（六十二）循环神经网络——深度循环神经网络
课件回顾：循环神经网络PLANA：Nonlinearity in the units更深总结课件1 函数依赖关系2 简洁实现3 训练与预测4 小结
2022-12-19 19:35:25
272
原创 深度学习入门（六十一）循环神经网络——长短期记忆网络LSTM
课件长短期记忆网络门候选记忆单元记忆单元隐状态总结教材1 门控记忆元1.1 输入门、忘记门和输出门1.2 候选记忆元1.3 记忆元1.4 隐状态2 从零开始实现2.1 初始化模型参数2.2 定义模型2.3 训练和预测3 简洁实现4 小结参考文献
2022-12-19 19:24:46
714
1
原创 深度学习入门（六十）循环神经网络——门控循环单元GRU
课件关注一个序列门候选隐状态隐状态总结教材1 门控隐状态1.1 重置门和更新门1.2 候选隐状态1.4 隐状态2 从零开始实现2.1 初始化模型参数2.2 定义模型2.3 训练与预测3 简洁实现4 小结参考文献
2022-12-19 19:06:11
1421
原创 深度学习入门（五十九）循环神经网络——通过时间反向传播
1 循环神经网络的梯度分析1.1 完全计算1.2 截断时间步1.3 随机截断1.4 比较策略2 通过时间反向传播的细节3 小结
2022-12-11 16:20:24
848
原创 Docker容器化技术入门（一）Docker简介
（一）Docker简介1 Docker是什么？1.1 Docker的出现1.2 Docker的理念1.3 一句话2 容器与虚拟机比较2.1 容器发展简史2.2 传统虚拟机技术2.3 容器虚拟化技术2.4 对比3 Docker能干什么？4 Docker下载
2022-12-08 22:54:11
358
原创 Linux零基础入门（四）Linux实用操作
一 各类小技巧（快捷键）1 ctrl + c 强制停止2 ctrl + d 退出或登出3 历史命令搜索4 光标移动快捷键5 清屏二 软件安装1 Linux系统的应用商店2 yum命令3 apt命令 - 扩展三 systemctl1 systemctl命令四 软连接1 ln命令创建软连接五 日期、时区1 date命令2 date命令进行日期加减3 修改Linux时区4 ntp程序六 IP地址、主机名1 IP地址2 特殊IP地址3 主机名4 在Linux中修改主机名
2022-12-01 19:00:09
824
原创 Linux零基础入门（三）Linux用户和权限
一 认知root用户1 root用户（超级管理员）2 su和exit命令3 sudo命令4 为普通用户配置sudo认证二 用户、用户组管理1 用户、用户组2 用户组管理3 用户管理4 getent三 查看权限控制1 认知权限信息2 rwx四 修改权限控制 - chmod1 chmod命令2 权限的数字序号五 修改权限控制 - chown
2022-12-01 17:55:16
412
原创 Linux零基础入门（二）Linux基础命令
一 Linux的目录结构1 Linux路径的描述方式二 Linux命令入门1 Linux命令基础格式2 ls命令3 HOME目录和工作目录4 ls命令的参数ls 命令的 -a选项ls命令的 -l选项ls命令选项的组合使用ls选项和参数的组合使用ls 命令的 -h选项三 目录切换相关命令(cd/pwd)1 cd 切换工作目录2 pwd 查看当前工作目录四 相对路径、绝对路径和特殊路径符1 相对路径和绝对路径2 特殊路径符五 创建目录命令(mkdir)1 mkdir命令2
2022-12-01 11:30:32
562
原创 Linux零基础入门（一）初识Linux
一 操作系统概述1 硬件和软件2 操作系统二 初识Linux1 Linux的诞生2 Linux内核3 Linux发行版三 虚拟机介绍1 虚拟机四 VMware WorkStation安装1 虚拟化软件五 在VMware上安装Linux1 下载CentOS操作系统六 远程连接Linux系统1 图形化、命令行2 使用命令行学习Linux系统3 FinalShell4 连接到Linux系统拓展：WSL（Windows Subsystem for Linux）1 为什么要用WS
2022-12-01 10:29:18
1527
原创 深度学习入门（五十七）循环神经网络——循环神经网络从零开始实现
1 独热编码(one-hot)2 初始化模型参数3 循环神经网络模型4 预测5 梯度裁剪6 训练7 小结
2022-11-28 16:14:42
908
原创 深度学习入门（五十六）循环神经网络——循环神经网络RNN
课件潜变量自回归模型循环神经网络使用循环神经网络的语言模型困惑度（perplexity）梯度裁剪更多的应用RNNs总结教材1 无隐状态的神经网络2 有隐状态的循环神经网络3 基于循环神经网络的字符级语言模型4 困惑度（Perplexity）5 小结
2022-11-27 20:03:57
1166
原创 深度学习入门（五十五）循环神经网络——语言模型和数据集
课件语言模型使用计数来建模N元语法总结教材1 学习语言模型2 马尔可夫模型与n元语法3 自然语言统计4 读取长序列数据4.1 随机采样4.2 顺序分区5 小结
2022-11-27 19:33:15
200
原创 深度学习入门（五十三）循环神经网络——序列模型
课件序列数据序列数据：更多例子统计工具序列模型方案A-马尔科夫假设方案B-潜变量模型总结教材1 统计工具1.1 自回归模型1.2 马尔可夫模型1.3 因果关系2 训练3 预测4 小结
2022-11-26 15:14:42
631
1
原创 深度学习入门（五十二）计算机视觉——风格迁移
课件样式迁移易于CNN的样式迁移教材1 方法2 阅读内容和风格图像3 预处理和后处理4 抽取图像特征5 定义损失函数5.1 内容损失5.2 风格损失5.3 全变分损失5.4 损失函数6 初始化合成图像7 训练模型8 小结参考文献
2022-11-25 21:40:21
3440
原创 深度学习入门（五十）计算机视觉——转置卷积
课件1 转置卷积2 为什么称之为“转置”教材1 基本操作2 填充、步幅和多通道3 与矩阵变换的联系4 小结
2022-11-25 11:29:00
1618
原创 深度学习入门（四十九）计算机视觉——语义分割和数据集
教材1 语义分割2 应用：背景虚化3 应用：路面分割4 语义分割VS实例分割教材1 图像分割和实例分割2 Pascal VOC2012 语义分割数据集2.1 预处理数据2.2 自定义语义分割数据集类2.3 读取数据集2.4 整合所有组件3 小结
2022-11-25 10:10:27
538
原创 深度学习入门（四十八）计算机视觉——SSD实现
1 模型1.1 类别预测层1.2 边界框预测层1.3 连结多尺度的预测1.4 高和宽减半块1.5 基本网络块1.6 完整的模型2 训练模型2.1 读取数据集和初始化2.2 定义损失函数和评价函数2.3 训练模型3 预测目标4 小结
2022-11-23 15:25:46
396
原创 深度学习入门（四十七）计算机视觉——SSD和YOLO简介
课件（单发多框检测SSD）生成锚框SSD模型效果总结课件（YOLO）YOLO（你只看一次）效果
2022-11-22 15:20:56
793
原创 深度学习入门（四十六）计算机视觉——区域卷积神经网络（R-CNN）系列
课件R-CNN兴趣区域(RoI)池化层Faster R-CNNFaster R-CNNMask R-CNN精度和速度比较总结教材1 R-CNN2 Fast R-CNN3 Faster R-CNN4 Mask R-CNN小结参考文献
2022-11-22 15:14:17
943
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人