文献阅读笔记
文章平均质量分 83
关于深度学习模型改进文献
bu volcano
跳脱大众思维,认知决定格局
展开
-
具有概率节点选择的FL(FedPNS)
目录一、Title二、引言:三、模型一、Title二、引言:联邦学习(FL)是一种分布式学习范式,它允许大量资源有限的节点在没有数据共享的情况下协同训练模型。非独立和同分布的(non-i.i.d.)数据样本调用了全局目标和局部目标之间的差异,使得FL模型的收敛速度较慢。在本文中,我们提出了最优聚合算法,该算法通过检查局部梯度和全局梯度之间的关系,通过识别和排除不利的局部更新,找出每个全局回合中参与节点的局部更新的最优子集。然后,我们提出了一个概率节点选择框架(FedPNS),根据最优聚合的输出,动态原创 2022-03-19 14:06:33 · 1196 阅读 · 0 评论 -
Evaluation of Federated Learning Aggregation Algorithms
目录一、Title1.1前言:二、summary(idea)2.1研究背景:四、Experiment4.1实验步骤4.2集中式培训方法五、conclusion一、Title1.1前言:普适计算促进了互联电子设备的集成,以通过适当的服务帮助我们。最近有两个主要的发展取得了显著的势头:更好地利用 雾 资源和使用人工智能技术。具体来说,人们对工程应用中的机器学习方法的兴趣已经迅速增加。\这种模式似乎很好地适合普遍的环境。然而,到目前为止,联邦学习已经应用于特定的服务,并且在很大程度上仍然是概原创 2022-02-17 16:09:06 · 566 阅读 · 0 评论 -
Meta-HAR: Federated Representation Learning for Human Activity Recognition
目录一、Title1.1前言:一、Title1.1前言:原创 2022-02-13 22:51:58 · 2027 阅读 · 0 评论 -
Hard-Attention for Scalable Image Classification阅读笔记
目录TitleSummary(idea)MethodExperimentsConclusionNotes二级目录三级目录一、Title二、summary(idea)三、Method四、Experiments五、ConclusionTitleSummary(idea)MethodExperimentsConclusionNotes二级目录三级目录一、Title论文地址:https://openreview.net/forum?id=_6DawVPqyl代码地址:https://gith原创 2021-12-27 21:49:21 · 1446 阅读 · 0 评论 -
Recurrence along Depth: Deep Convolutional Neural Networks with Recurrent Layer Aggregation
本文引入了层聚合的概念来描述如何重用来自前一层的信息以更好地提取当前层的特征。原创 2021-12-19 16:27:22 · 631 阅读 · 0 评论 -
AC/DC: Alternating Compressed/DeCompressed Training of Deep Neural Networks
【12.09】AC/DC: Alternating Compressed/DeCompressedTraining of Deep Neural Networks知识背景:剪枝为了部署DNN,开发了一系列完整的模型压缩方法,如剪枝和量化剪枝的基本目标是获得通过设置为零来删除许多连接的神经网络,同时保持网络的准确性。对样本进行拟合得到橙色曲线,由于太精确导致过拟合、为了使得模型的泛化能力更加强,对橙色拟合表达式中权重较小的系数进行剪枝,得到更加适用的蓝色曲线。剪枝方法需要完全精确、密集的模型,然原创 2021-12-19 10:36:23 · 938 阅读 · 0 评论 -
Convolutional Normalization: Improving Deep Convolutional Network Robustness and Training
【12.02】Convolutional Normalization: Improving DeepConvolutional Network Robustness and Training知识背景:BatchNorm深度神经网络主要就是为了学习训练数据的分布,并在测试集上达到很好的泛化效果,但是,如果我们每一个batch输入的数据都具有不同的分布,显然会给网络的训练带来困难。另一方面,数据经过一层层网络计算后,其数据分布也在发生着变化,此现象称为Internal Covariate Shift,会给原创 2021-12-19 10:35:41 · 783 阅读 · 0 评论