- 博客(21)
- 收藏
- 关注
RSS订阅原创 【论文阅读】Model-Agnostic Meta-Learning for Fast Adaptation of Deep Networks
【创新点-元学习】我们提出了一种与模型无关的元学习算法，因为它与任何使用梯度下降训练的模型兼容，并且适用于各种不同的学习问题，包括分类、回归和强化学习。元学习的目标元学习的目标是在各种学习任务上训练模型，这样它就可以仅使用少量训练样本来解决新的学习任务。【优势】在我们的方法中，模型的参数被显式训练，即使新任务的训练数据少，其梯度步骤也能在该任务上产生良好的泛化性能。【另一个优点】实际上，我们的方法训练模型很容易微调。【支撑点】我们证明了这种方法在两个few-shot。
2023-11-17 09:21:33
163
原创 【论文阅读】(FLANP)Straggler-Resilient Federated Learning
本文针对系统异构性导致训练过程中客户端掉队的问题，利用统计准确性和系统异质性之间的相互作用，设计了一种具有抗拖沓节点的联邦学习方法（FLANP算法），该方法在每一轮训练中谨慎地和自适应地选择可用节点的子集。算法的主要思想是通过使用较快节点开始训练过程，并在当前参与节点的数据的统计精度达到后逐渐引入较慢节点进行模型训练。
2023-11-14 15:37:55
124
1
原创 【论文阅读】Learning to learn by gradient descent by gradient descent-通过梯度下降学习如何学习梯度下降
本文将优化算法的设计视作一个学习问题，通过LSTM实现的学习算法，使得算法能够自动学习如何利用所关注问题中的结构，其表现优于手工设计的算法，并且有很好的泛化能力。
2023-11-11 11:10:09
136
1
原创 【论文阅读】(FedMeta)Federated Meta-Learning with Fast Convergence and Efficient Communication
允许以更灵活的方式共享参数化算法，同时保留客户端隐私，而无需收集到服务器上的数据。提出了一个联邦元学习框架。
2023-11-08 23:28:31
290
1
原创 【论文阅读】(FedPer)Federated Learning with Personalization Layers
联邦学习的新范式试图使在网络边缘上实现机器学习模型的协作训练，而无需集中聚合原始数据，从而提高数据隐私。Thissharplyand这与传统的机器学习有很大的不同，需要设计对各种异质性来源具有鲁棒性的算法。canseverely尤其是，跨用户设备数据的统计异构性会严重降低标准联邦平均对传统机器学习应用的性能，比如深度学习的个性化。本文提出了FedPer，一种用于深度前馈神经网络联邦训练的基础+个性化层方法，该方法可以对抗统计异构性的不良影响。我们证明了FedPer对。
2023-10-27 15:43:50
397
5
原创 【论文阅读】DBA: DISTRIBUTED BACKDOOR ATTACKS AGAINST FEDERATED LEARNING
后门攻击旨在通过注入对抗性触发器来操纵训练数据的子集以便在被篡改的数据集上训练的机器学习模型将在嵌入相同触发器的测试集上做出任意（有针对性的）错误预测。背景：联邦学习 (FL) 的分布式学习方法和各方固有的异构数据分布可能会带来新的漏洞。相对于集中后门攻击（每一方在训练期间嵌入相同的全局触发器），作者提出了分布式后门攻击 (DBA)——这是一种通过充分利用 FL 的分布式特性开发的一种新颖的威胁评估框架。DBA。
2023-10-17 19:47:11
343
4
原创 【论文阅读】Survey of Personalization Techniques for Federated Learning
除了少数例外，大多数先前的工作都集中在测量全局模型对聚合数据的性能，而不是衡量单个客户端所看到的性能。然而，对于拥有足够私有数据来训练准确局部模型的客户端，参与联邦学习的好处是不可计算的。每个设备不是学习单个全局模型，而是学习全局模型和它自己的局部模型的混合。作者还观察到，仔细的微调可以产生高精度的全局模型，该模型可以很容易地个性化，但天真地优化全局精度可能会损害模型对后续个性化的能力。通过使用经过训练的全局模型的参数来初始化本地数据的训练，迁移学习能够利用全局模型提取的知识，而不是从头开始学习。
2023-10-16 23:03:57
56
1
原创 [论文阅读](FedProx)Federated Optimization In Heterogeneous Networks
FL与传统分布式学习以两个关键挑战相区别：1）系统异构性（设备间通信和计算能力的差异）2）统计异构性（用户间数据非独立同分布non-iid）为解决联邦网络中的异构性，作者提出FedProx。FedProx可以视作是FedAvg的泛化和重参数化（虽然对FedAvg的改动很微小，但是影响显著）在理论方面，FedProx保证了当数据为non-iid时模型的收敛性，并允许每个参与设备执行可变的工作量，得以保证了设备级的系统约束。
2023-09-27 21:46:27
365
原创 关于python的学习合集
通过使用np.random.choice函数从all_idxs列表中无放回地选择num_items个索引，使用set函数将选择的索引转换为集合，并将该集合分配给dict_users字典中的第i个用户。然后，使用set函数和list函数从all_idxs列表中删除已经分配给用户的索引。函数接收MNIST数据集和用户数量作为输入，并返回一个字典，其中键为用户编号，值为分配给用户的样本索引集合。这行代码将分配好样本的dict_users字典作为函数的返回值，其中键为用户编号，值为分配给用户的样本索引集合。
2023-09-22 10:43:39
71
原创 【论文阅读】A survey on federated learning
联邦学习（Federated Learning）是一种多个客户端协作解决机器学习问题的设置，由中央汇聚器进行协调。这种设置还允许训练数据分散存储，以确保每个设备的数据隐私。联邦学习遵循两个主要思想：本地计算和模型传输，从而减少了传统集中式机器学习方法带来的一些系统隐私风险和成本。客户端的原始数据存储在本地，不可交换或移动。通过应用联邦学习，每个设备使用本地数据进行本地训练，然后上传模型到服务器进行汇聚，最后服务器将模型更新发送给参与者以实现学习目标。为了提供一份全面的调查，促进该领域的潜在研究，我们从五个方
2023-09-06 09:58:56
195
1
原创 【论文阅读】Federated Learning: Challenges, Methods, and Future Directions
理论上，虽然最近的一些研究已经调查了联邦学习方法的变种的收敛性保证，但很少分析允许低参与度，或直接研究的设备退出的影响。同样地，尽管隐私对于许多机器学习应用来说是一个重要方面，但由于数据的统计变化，针对联邦学习的隐私保护方法可能很难严格断言，并且由于每个设备及可能的庞大网络上的系统限制，实施起来可能更加困难。然而，这些方法可能是不现实的：除了对网络带宽施加负担之外，将本地数据发送到服务器违反了联邦学习的关键隐私假设，将全局共享的代理数据发送给所有设备也需要努力精心生成或收集这样的辅助数据。
2023-08-15 11:32:13
242
1
原创 联邦学习笔记
此外，由于对手的目标是只影响少量数据点的分类结果，同时保持全局学习模型的整体准确性，因此针对非目标攻击的防御通常无法解决目标攻击。是发送方把多条数据基于不同的密钥加密，并将所有公钥发送给接收方，接收方按需使用特定的公钥生成随机数，双方再分别进行异或运算等，最后接收方只会得到特定数据的明文信息，其余数据的运算结果为乱码。例如，上海浦发银行和贵阳的贵阳银行，因为其所在的地域不同，各自所服务的人群有显著的区别，即样本空间不同，但是由于其提供的服务（比如存取款，转账，贷款等等）是大致相同的，即特征空间相同。
2023-07-11 11:12:18
184
1
原创 【论文阅读】Federated Machine Learning Concept and Application
今天的人工智能仍然面临两大挑战。一个是，在大多数行业中，数据以孤立的岛屿形式存在。另一个是加强数据隐私和安全。我们为这些挑战提出了一个可能的解决方案∶安全联邦学习。除了谷歌在2016年首次提出的联邦学习框架外，我们引入了一个全面的安全联邦学习框架，其中包括横向联邦学习、纵向联邦学习和联邦转移学习。该论文为联邦学习框架提供了定义、架构和应用，并对该主题的现有工作进行了全面调查。此外，我们建议在组织间建立基于联邦机制的数据网络，作为一种有效的解决方案，在不损害用户隐私的情况下允许知识的共享。
2023-06-20 16:24:38
280
1
原创 吴恩达-深度学习（第四章）
第ll层的激活函数输出用a[l]表示，a[l]=g[l](z[l])。只不过在运算Z[l]=W[l]A[l−1]+b[l]中，b[l]会被当成（n[l],m）矩阵进行运算，这是因为python的广播性质，且b[l]每一列向量都是一样的。dW[l]和db[l]的维度分别与W[l]和b[l]的相同。神经网络中的参数就是我们熟悉的W[l]和b[l]。z[l]和a[l]的维度是一样的，且dz[l]和da[l]的维度均与z[l]和a[l]的维度一致。
2023-06-09 15:05:13
31
原创 【论文阅读】(FedAvg)Communication-Efficient Learning of Deep Networks from Decentralized Data
表2的每一节中的行按这个统计量排序。只要B足够大 只要B足够大，以充分利用客户端上的可用并行性 只要B足够大，以充分利用客户端硬件上的可用并行性，那么降低B基本上没有计算时间上的成本 因此，在实践中，这应该是第一个调整的参数。然而，我们使用的标准模型足以满足我们的需求，因为我们的目标是评估我们的优化方法，而不是在这个任务上实现最佳的精度。我们考虑的（参数化）算法系列的一个端点是简单的单次平均法，即每个客户求解在其本地数据上损失最小的模型（可能是正则化的），这些模型被平均化以产生最终的全局模型。
2023-06-08 17:38:35
336
1
原创 吴恩达-深度学习（第三章）
关于输出层对应的权重W[2]和常数项b[2]，W[2]的维度是（1,4），这里的1对应着输出层神经元个数，4对应着输出层神经元个数。仍以浅层神经网络为例，包含的参数为W[1]，b[1]，W[2]，b[2]。则W[1]的维度为（n[1],n[0]），b[1]的维度为（n[1],1），W[2]的维度为（n[2],n[1]），b[2]的维度为（n[2],1）。之前也介绍过，这里顺便提一下，W[1]的维度是（4,3），b[1]的维度是（4,1），W[2]的维度是（1,4），b[2]的维度是（1,1）。
2023-06-07 12:10:19
106
1
原创 吴恩达-深度学习（第二章）
(yhat)，这代表对真实标签 Y 的估计，形式上讲 yhat是当给定输入特征x时，预测标签y为1的概率，换种说法就是当x是一张图片，就像我们上图看到的，你想要yhat告诉你这是一张猫图的概率，x是一个nx维的向量，约定逻辑回归的参数是 w，w也是一个nx维的向量，另外参数b是一个实数，因此给定了一个输入x以及参数w和b，那么如何产生输出yhat 呢?损失函数适用于像这样单一的优化示例，损失函数反映的是你的参数成本，所以在优化你的逻辑回归模型时，我们要试着去找参数W和B，以此来缩小J的整体成本。
2023-06-01 15:42:23
359
原创 【论文阅读】A Survey on Vision Transformer
本文通过将这些视觉变压器模型通过执行任务的不同而进行分类，并分析了它们的优缺点，其探索的主要类别包括主干网络、高/中级视觉、低级视觉和视频处理，也包括高效的Transformer方法，以将Transformer运用到基于实际设备的应用程序。此外，本文简要介绍了计算机视觉中的self-attention机制，因为它是变压器中的基本组件。
2023-05-30 15:10:37
403
1
原创 吴恩达-深度学习（第一章）
的定义是基于他自己编写的西洋棋程序，让西洋棋程序通过上万对局的观察，能够分析出布局的利弊，通过大量对局的练习，计算机获得无比丰富的经验，于是渐渐成为了比Samuel更厉害的西洋棋手。鸡尾酒算法：两个麦克风分别离两个人不同距离，录制两段录音，将两个人的声音分离开来（只需一行代码就可实现，但实现的过程要花大量的时间）定义的机器学习是，一个好的学习问题定义如下，他说，一个程序被认为能从经验E中学习，解决任务T**，达到性能度量值。只给算法一个数据集，但是不给数据集的正确答案，由算法自行分类。，他定义机器学习为，
2023-05-23 17:41:58
34
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人