- 博客(4)
- 收藏
- 关注
RSS订阅原创 异步联邦论文学习--3
随着计算能力的快速增长促进了机器学习的蓬勃发展，ML需要大量的高质量数据，但是由于竞争、隐私等因素，行业之间在共享本地数据方面表现出犹豫，导致了数据孤岛的情况，并且从可靠来源收集数据还伴随着高昂的成本。----> FLFL优势：（1） 通过基于梯度的全局模型聚合，增强了对本地数据隐私的保护；（2） 减少了网络传输延迟，因为训练数据保持本地化，而不是传输到云服务器；（3） 由于结合了其他设备的学习特征，提高了模型质量。
2024-03-11 08:43:15
1617
原创 异步联邦论文学习--2
出于隐私考虑，分布式学习中发展出FL。同步FL的限制1） 有效参与者的不可靠部分：在每一轮中，服务器随机选择一部分客户端进行本地培训，并期望他们提交本地训练结果。然而，鉴于终端设备的不可靠性质，提交其结果的客户端数量非常不确定；2） 低轮效率：为了在每轮结束时汇总本地结果，FedAvg必须等待所有选定的客户端完成，其中可能有掉队的客户端，而崩溃的客户端可能永远不会响应。因此，全局学习进度被暂停，直到达到超时阈值；3） 客户利用率低：通过随机选择，许多有能力的客户即使准备好并愿意参加培训，也可能闲置。
2024-03-06 11:29:21
1439
原创 异步联邦论文学习--1
由于FL有三个特性：1、不频繁的任务激活：对于边缘的弱设备，只有当设备空闲、充电并连接到未计量网络时，才执行学习任务。2、边缘设备和远程服务器之间的连接可能经常不可用、缓慢或昂贵（就通信成本或电池电量使用而言）。3、对于联合学习，不同设备上的数据是不相交的。以上特性会导致采用同步FL时的训练时长较长，因为会存在掉队者。（PS:在同步FL中，server端预先确定参与本轮训练的client群，当且仅当所有client都上传本地模型时，server端才会执行全局模型聚合。
2024-03-04 22:03:28
1611
原创 论文自学笔记：Deep Learning Enabled SemanticCommunication Systems
FCN：如Transformer，通过与注意机制相结合，更多地关注有用的语义信息，以提高各种NLP任务的性能。然而，即使cnn可以使用更深层的网络来提取长句子中的语义信息，其性能也不如rnn，因为cnn中的核尺寸较小，无法保证计算效率。RNN：语言模型可以学习整个句子并有效地捕获语法信息，然而，对于长句子，特别是主谓之间的距离超过10个单词时，rnn无法找到正确的主谓。一种通用的单词表示模型，称为来自变压器的双向编码器表示(BERT)，用于为各种NLP任务提供单词向量，而无需重新设计单词表示。
2023-09-26 16:03:15
359
5
空空如也
异步联邦优化算法疑惑
2024-03-04
TA创建的收藏夹 TA关注的收藏夹
TA关注的人