![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 93
音视频开发之旅
同名公众号“音视频开发之旅”,一起学习成长
展开
-
音视频开发之旅(90)-Vision Transformer论文解读与源码分析
需要注意的是:如果改变图像的输入大小,ViT不会改变patchs的大小,patchs的数量会发生变化,之前学习的pos_embed就维度对不上了,通常ViT采用插值的方式来解决这个问题,但效果不好,另外一篇论文给出了说明和解决措施 https://arxiv.org/pdf/2102.10882,有兴趣可以进一步研究下。12.Vision Transformer(VIT)代码分析 https://blog.csdn.net/qq_38683460/article/details/127346916。原创 2024-09-01 09:35:16 · 649 阅读 · 0 评论 -
音视频开发之旅(89) - Transformer论文解读和源码解析
1.模型思想2.Transformer模型架构3.Attention机制4.位置编码5.代码实现与解析6.资料。原创 2024-09-01 09:29:57 · 592 阅读 · 0 评论 -
音视频开发之旅(87)- 视频画质评测算法之VSFA
提取的内容感知特征维度很高, 会使得后面的GRU门控循环单元的训练困难,为此使用全连接层进行降维,其中Wfx和bfx为全连接层参数,降维后的xt(1,2...,T)被送到门控循环单元GRU,将GRU中隐藏状态视为整合后的特征,当前隐藏状态ht根据当前的输入xt和前一个隐藏状态ht-1计算而来。在第 t 帧构建一个当前质量元素 mt,使用后几帧的加权质量分数,其中质量差的帧分配较大的权重,其中 V_next = {t,t+1,···,min(t+τ,T)}是相关帧的索引集。原创 2024-08-15 06:07:08 · 645 阅读 · 0 评论 -
音视频开发之旅(86)- 图像分类--ResNet网络解析
Resnet创新的引入了残差学习(Residual learning), 对于每一个残差块(Residual Block),输入不仅传递到下一层,还通过跳跃连接(skip connection)加到后面几层的输出上,这样,层不是直接学习输出,而是学习输入和输出的差值(残差),这有助于缓解梯度消失/爆炸的问题。通过跳跃连接,即使网络很深,在反向传播时梯度也可以通过这些直接连接传递到较低的层,从而保证网络的稳定性,有助于加快网络的收敛。接下来我们继续学习输出深度学习相关内容,1. Resnet解决的问题。原创 2024-07-27 00:10:29 · 689 阅读 · 0 评论 -
音视频开发之旅(85)- 图像分类-VGG模型解析
4.VGG网络详解及感受野的计算 https://www.bilibili.com/video/BV1q7411T7Y6/?堆叠多个3×3的卷积核来替代大尺度卷积核,减少所需参数:通过堆叠2个3×3的卷积核替代5×5的卷积核,堆叠3个3×3的卷积核替代7×7的卷积核,两者之间拥有相同的感受野。6.VGG模型解析 https://github.com/huaweicloud/ModelArts-Lab/wiki/VGG%E6%A8%A1%E5%9E%8B%E8%A7%A3%E6%9E%90。原创 2024-07-26 00:17:15 · 1009 阅读 · 0 评论