- 博客(3)
- 收藏
- 关注
RSS订阅原创 【论文速递】基于批量归一化的混洗SGD训练不稳定性
我们揭示了SGD如何与batch normalization交互，并可能表现出不期望的训练动态，如发散。更准确地说，我们研究了单次洗牌（Single Shuffle, SS）和随机重洗牌（Random Reshuffle, RR）——两种广泛使用的SGD变体——在存在批量归一化的情况下如何以惊人的不同方式相互作用：RR导致比SS更稳定的训练损失演变。作为一个具体的例子，对于使用具有批量归一化的线性网络的回归，我们证明了SS和RR收敛到不同的全局最优，这些全局最优远离梯度下降而“失真”。
2023-03-09 21:13:28
156
原创 【论文速递】TPAMI-2022 用于多模式和多任务密集图像预测的信道交换网络
多模态融合和多任务学习是机器学习中的两个重要课题。尽管取得了丰硕的进展，但解决这两个问题的现有方法仍然难以应对同样的挑战——在保持每个模态（相应任务）的特定模式的同时，整合跨模态（相应的任务）的公共信息仍然是一个难题。此外，虽然多模态融合和多任务学习实际上彼此密切相关，但以前很少在同一方法框架内进行研究。在本文中，我们提出了信道交换网络（CEN），它是自适应的、无参数的，更重要的是，它适用于多模式和多任务密集图像预测。CEN的核心是在不同模式的子网络之间自适应地交换信道。
2023-02-14 19:47:29
372
1
原创 【论文速递】TGRS2023 - DARSNet：遥感图像超分辨率辅助语义分割的多任务域自适应
无监督领域自适应（UDA）已成为遥感界跨领域语义分割的重要技术，并取得了显著的效果。然而，当从高分辨率（HR）遥感图像转换到低分辨率（LR）图像时，由于严重的空间分辨率偏移问题，现有的UDA框架总是无法分割LR目标图像，特别是对于小物体（例如汽车）。在本文中，为了提高UDA模型对LR目标图像和小对象的分割能力，我们提出了一种新的基于超分辨率（SR）的遥感图像SS多任务域自适应网络（DARSNet）。提出的DARSNet包含SS（DASS）分支的域适配、SR（DASR）分支的区域适配和特征亲和性（FA）模块。
2023-02-08 19:55:46
1665
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人