- 博客(59)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 #13【CVPR2024】“不确定性不是敌人”：深入剖析多模态融合中的不确定性
在人工智能的迅猛发展浪潮中，多模态学习（Multimodal Learning）扮演着越来越重要的角色。我们日常生活中的感知信息并非单一形式：人类在对话中同时理解对方的语气（语音）、表情（视觉）和措辞（文本）；一款智能助手在处理任务时，往往需要联合处理图像、文字、语音、视频等多种模态信息。基于此，多模态融合（Multimodal Fusion）作为一种提升AI系统泛化能力、增强表示表达力的手段，受到了广泛关注。其基本目标是：将不同模态中的互补信息进行整合，以获取更鲁棒、更准确的联合表征。
2025-03-22 21:07:51
267
原创 #6【TIP2023】Dif-Fusion
是四通道的高斯噪声，通过推导可以得到任意时间步的条件概率。前向过程看成是逐步加噪的Markov链，在每一个时间步。用于控制每一步加入的噪声的方差，对于第一个时间步。的两个输入分别是时间步。
2025-02-24 22:28:43
63
原创 计算机三级四级嵌入式备战经验
四级40题（30题单选，10题多选）操作系统，40题（30题单选，10题多选）计算机组成与接口，单选1分，多选2分，多选少选错选均不得分。操作系统多选很多文字游戏题，计组的多选较为固定，但是一些题需要记忆寄存器(825x系列芯片)，考试不给图，我刷完了所有的题，考到的寄存器里面也只能记一半。三级40分选择，40分填空，20分综合题，考试时间120分钟。我在某宝买的未来教育软件的激活码，顺便加了他们的群，平时看一看群消息，不会的和别人探讨探讨，也可以帮助别人回答问题，巩固一下知识，当然更重要的是。
2023-11-09 12:47:55
1554
2
原创 本地vscode安装GPU版本PyTorch
他输出结果torch2.1.0+cpu，就是说我装的实际上是cpu版本的。所以不要用pip,用conda。我重装了一遍anaconda，（原本建的虚拟环境不会丢，不用担心），终于把pytorch装上去了。去官网复制他的代码运行。我用conda的代码会显示一个SSL的错误，我用pip安装会给我装一个cpu版本的pytorch，在底下调出终端窗口，默认是power shell，我喜欢用cmd窗口。操作系统 windows, IDE环境vscode，本地GPU。激活自己的虚拟环境，输入命令。
2023-10-10 15:44:48
2397
原创 Python 带参数的装饰器
它接受一个函数作为输入，再返回一个函数。我们使用一下这个装饰器我们调用一下now函数，它不仅打印当前时间，还会在前面打印一行日志：把@log放到now()假如我们的装饰器需要传递参数，那么我们需要再把装饰器包起来，俗称套娃执行上面装饰器等同于返回函数decorator返回函数wrapper。
2023-08-31 18:32:49
1001
原创 Python装饰器（decorators）
装饰器是一个很强大的工具，它允许我们很便捷地修改已有函数或者类的功能，我们可以用装饰器把另一个函数包装起来，扩展一些功能而不需要去修改这个函数代码。
2023-08-30 18:25:46
373
原创 Restormer
OverlapPatchEmbed 将输入图像传递给一个3x3的卷积层，得到一个嵌入结果。这与许多其他的patch embedding方法不同，这些方法通常使用较大的卷积核和步长来直接将图像分割成不重取的patch。Downsample 模块首先使用卷积层将输入特征图的通道数减半，然后使用像素反洗牌操作进一步降采样特征图。将通道数x4，长/2，宽/2，所以总体上该模块是将通道数x2，长/2，宽/2。的官方文档，可以看到，Downsample模块先用二维卷积层。的实现代码，与上图完全一致。
2023-08-28 15:04:29
865
原创 GDFN模块（restormer）
为了对特征进行变换，常规的前馈神经网络独立地在每个像素位置进行相同的操作。它使用两个1x1卷积层，一个用来扩展特征通道（通常4倍），第二个用来将特征通道减少到原来的输入维度。在隐藏层中加入非线性。架构如下图：门机制通过经过线性变换的两个平行通道的逐元素点积实现，其中一个通道用激活，可以参考深度可分离卷积用来编码空间上邻域像素的信息，有助于学习局部图像结构。
2023-08-25 15:25:53
1381
原创 MDTA模块（Restormer）
最后再残差连接，这整个流程才是上图所示。模块，该模块的实现可以参考。这段代码并没有实现图中的。可以看到实现的时候是先。
2023-08-24 18:37:34
1470
原创 Layer Normalization（层规范化）
训练深度神经网络需要大量的计算，减少计算时间的一个有效方法是规范化神经元的活动，例如批量规范化（batch normalization）技术，然而，批量规范化对小批量大小（batch size）敏感并且无法直接应用到中（recurrent neural networks），为了解决上述问题，层规范化（Layer Normalization）被提出，不仅能直接应用到RNN，还能显著减少训练时间。
2023-08-24 15:41:28
770
原创 离散变量贝叶斯决策简介
minR(αi∣x)=j=1∑cλ(αi∣ωj)P(ωj∣x)maxP(ωi∣x)p(x)=p(x1x2⋯xd)=i=1∏dp(xi)dpi=Prob(xi=1∣ω1)i=1,…,dqi=Prob(xi=1∣ω2)i=1,…,dP。
2022-12-31 12:13:10
875
原创 高斯分布下的线性判别函数简介
ijjiΣϕi=λiϕiΦ=[ϕ1ϕ2⋯ϕd]Λ=diag[λ1,λ2,⋯,λd]ΦTΦ=IΦT=Φ−1⟺ϕitϕj={1,0,i=ji=jΣΦ=ΦΛ↔Σ=ΦΛΦT↔Σ=i=1∑dλiϕiϕiTΦTΣΦ=Λ=λ10⋮00λ2。
2022-12-30 17:21:01
1051
python中1整除0.1为什么是9.0？
2022-03-03
TA创建的收藏夹 TA关注的收藏夹
TA关注的人