- 博客(12)
- 收藏
- 关注
RSS订阅原创 2023-12 一种信息论启发的网络自动剪枝策略（写作学习）
论文结构：1 INTRO卷积神经网络受限于资源有限的设备，现有研究有参数量化、滤波器压缩和自动网络剪枝其中，自动网络剪枝引起很大关注，应用到sota网络。简介自动网络剪枝。分为两类：基于度量的方法 和 基于搜索的方法。度量：与基于局部度量的方法相比，这种方法隐式地决定了通道数，从而减少了大量的人工工作量。然而，这些方法通常执行网络修剪，然后进行数据驱动和/或迭代优化以恢复精度，这两者都需要时间成本搜索：这两种方法都需要在约束发生变化时重新压缩或重新训练。这实际上限制了网络修剪的应用，因
2023-04-11 15:22:52
143
原创 2023-11 FedALA:个性化联邦学习的自适应本地聚合
FedALA的关键组件是自适应局部聚合(Adaptive Local Aggregation, ALA)模块，该模块可以自适应地将下载的全局模型和局部模型聚合到每个客户端上的局部目标，以便在每次迭代训练之前初始化局部模型。FL的一个关键挑战是统计异质性，例如，非独立和同分布(Non-IID)和跨客户端的不平衡数据。这类数据使得很难获得泛化到每个客户端的全局模型。
2023-04-10 14:37:32
1281
原创 2023-10 去中心化联邦均衡(写作学习)
介绍FedAvg：何种算法+基本的工作模式点出FedAvg存在的问题：通信成本+易受攻击介绍去中心化方法的优势本文的亮点，并点出与类似工作的区别和优势假设和效果介绍FL，FedAvg，Local SGD之间的关系，Local SGD节省通信成本。
2023-04-06 10:41:14
623
原创 2023-9 通过关注最大的Losers来加速深度学习
本文介绍了选择性反向支持(Selective-Backprop)技术，该技术通过在每次迭代中优先考虑高损失的示例来加速深度神经网络(dnn)的训练。select - backprop使用训练示例向前传递的输出来决定是使用该示例来计算梯度和更新参数，还是立即跳到下一个示例。通过减少计算成本高昂的反向传播步骤的数量，选择性反向支持加速了训练。在训练神经网络(例如，用于分类)时，计算工作量通常在训练示例之间平均分配，而不管示例是否已经以低损失得分，或者它们是否被网络的当前状态错误预测(Hinton, 2007)
2023-03-29 16:32:27
166
原创 2023-8 并非所有样本都是平等的:重要性抽样的深度学习
深度神经网络训练将大部分计算花费在正确处理的示例上，并且可以忽略。我们建议使用原则性重要性抽样方案来缓解这种现象，该方案将计算集中在“信息性”示例上，并在训练过程中减少随机梯度的方差。首先，我们推导出样本梯度范数的一个可处理的上界，其次，我们推导出通过重要性抽样实现的方差减少的估计量，这使我们能够在它将导致实际加速时打开它。可用训练数据的急剧增加使得深度神经网络的使用变得可行，这反过来又大大提高了许多领域的最先进水平，特别是计算机视觉和自然语言处理。
2023-03-29 15:32:27
194
原创 2023-7 约束边缘设备的联邦学习
深度神经网络上的联邦学习(FL)促进了边缘的新应用，特别是可穿戴设备和物联网设备。这样的设备捕获大量不同的数据，但它们有内存、计算、电源和连接限制，这阻碍了它们参与FL。我们提出了Centaur，一个多层FL框架，使超约束设备能够有效地参与大型神经网络上的FL。主要贡献：1）一种数据选择方案，选择一部分样本加速学习2）一种基于分区的训练算法，它集成了同一用户拥有的受限设备和强大设备。虽然智能手机和加速器不如云机器强大，但它们配备了移动图形处理器，拥有千兆字节的运行时内存，并与中央服务器有相当稳定的连接。
2023-03-28 17:23:41
149
1
原创 2023-6 通过稳定感知的On-device更新缩放实现Energy-efficient联邦学习
在训练完成之前，设备上进行了大量的计算密集型迭代，这会导致大量的能量消耗。随着这些被训练的模型参数的稳定，这种设备上的训练迭代随着时间的推移逐渐变得多余。基于当前模型状态和设备异构性，建议扩展从减少迭代中获得的更新结果，作为设备上训练的替代品基于系统动力学设计了多项式时间在线算法，从根本上平衡了能量消耗和被训练模型质量对于需要数百个模型聚合才能实现模型收敛的FL，每次局部模型更新都需要进一步在设备上迭代执行随机梯度下降(SGD)或批量梯度下降(BGD)，这通常是计算密集型的，并且会消耗大量的能量。
2023-03-28 17:22:15
46
原创 2023-5 一种基于特征差分卷积神经网络的变化检测方法
该方法使用CNN从遥感图像中学习深度特征，然后使用迁移学习组成具有共享权重的双通道网络，生成多尺度、多深度的特征差异图进行变化检测。该网络使用本文提出的变化幅度引导损失函数进行训练，只需使用少量像素级样本进行训练即可生成变化幅度图，这有助于去除一些伪变化。
2023-02-24 10:58:36
1484
原创 2023-4 新一代智能测绘遥感科学试验卫星珞珈三号0１星 （笔记）
针 对 此 问 题，需 要 优化传统遥感信 息 获 取 流 程 和 方 式，开 展 任 务 驱 动的在轨数据按 需 获 取、实时处理和信息智能提 取，减少数据获取、处理和 传 输 数 据 量，同 时 联 合遥感卫星的存 储 和 计 算 能 力，以及空间信息网 络的通信传输和 导 航 定 位 资 源 等，实 现 任 务 目 标 更 明 确 、处 理 方 式 更 灵 活 、资源配置更合理的遥感 数 据 高 效 处 理 ，达到卫星遥感信息实时智能服务 的发展目标。单 线 阵／面 阵 测 绘 体 制。
2023-02-21 11:05:55
397
原创 2023-3 无监督/弱监督/区域监督变化检测：生成对抗网络全卷积变化检测框架
大多数端到端网络都被提出用于监督变更检测，而非监督变更检测模型依赖于传统的预检测方法。因此，我们提出了一个带有生成对抗网络的全卷积变化检测框架，将无监督、弱监督、区域监督和全监督的变化检测任务统一到一个端到端框架中。利用基本的Unet分割器获取变化检测图，利用图像-图像生成器对多时段图像之间的光谱变化和空间变化进行建模，利用变化和不变判别器对弱监督和区域监督变化检测任务中的语义变化进行建模。
2023-02-20 19:15:33
1597
原创 2023-2 超高分光学图像变化检测综述（更关注VHR）
与传统的手工特征不同，更高层次的抽象(线性和非线性特征)可以通过多层神经网络自动提取和优化，它可以保留关键的变化，并丢弃不相关的差异，用于变化检测任务。此外，在VHR图像中可见的临时对象(如道路上的汽车)也会影响使用VHR图像的传统基于光谱的变化检测方法的性能。在有限的光谱信息下，很难实现高精度的变化检测。在过去的几十年里，大量的图像特征被提取出来，可以弥补VHR图像中包含的有限的光谱信息，提高对图像变化信息的辨别能力。用于VHR变化检测的纹理特征可以分为统计的、结构的、基于模型的和基于转换的。
2023-02-13 16:10:49
809
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人