- 博客(3)
- 收藏
- 关注
原创 【论文速递】基于批量归一化的混洗SGD训练不稳定性
我们揭示了SGD如何与batch normalization交互,并可能表现出不期望的训练动态,如发散。更准确地说,我们研究了单次洗牌(Single Shuffle, SS)和随机重洗牌(Random Reshuffle, RR)——两种广泛使用的SGD变体——在存在批量归一化的情况下如何以惊人的不同方式相互作用:RR导致比SS更稳定的训练损失演变。作为一个具体的例子,对于使用具有批量归一化的线性网络的回归,我们证明了SS和RR收敛到不同的全局最优,这些全局最优远离梯度下降而“失真”。
2023-03-09 21:13:28
165
原创 【论文速递】TPAMI-2022 用于多模式和多任务密集图像预测的信道交换网络
多模态融合和多任务学习是机器学习中的两个重要课题。尽管取得了丰硕的进展,但解决这两个问题的现有方法仍然难以应对同样的挑战——在保持每个模态(相应任务)的特定模式的同时,整合跨模态(相应的任务)的公共信息仍然是一个难题。此外,虽然多模态融合和多任务学习实际上彼此密切相关,但以前很少在同一方法框架内进行研究。在本文中,我们提出了信道交换网络(CEN),它是自适应的、无参数的,更重要的是,它适用于多模式和多任务密集图像预测。CEN的核心是在不同模式的子网络之间自适应地交换信道。
2023-02-14 19:47:29
393
1
原创 【论文速递】TGRS2023 - DARSNet:遥感图像超分辨率辅助语义分割的多任务域自适应
无监督领域自适应(UDA)已成为遥感界跨领域语义分割的重要技术,并取得了显著的效果。然而,当从高分辨率(HR)遥感图像转换到低分辨率(LR)图像时,由于严重的空间分辨率偏移问题,现有的UDA框架总是无法分割LR目标图像,特别是对于小物体(例如汽车)。在本文中,为了提高UDA模型对LR目标图像和小对象的分割能力,我们提出了一种新的基于超分辨率(SR)的遥感图像SS多任务域自适应网络(DARSNet)。提出的DARSNet包含SS(DASS)分支的域适配、SR(DASR)分支的区域适配和特征亲和性(FA)模块。
2023-02-08 19:55:46
1779
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人