- 博客(26)
- 收藏
- 关注
RSS订阅原创 FedAsync Asynchronous Federated Optimization
基线算法是引入的FedAvg，它实现了同步联邦优化。对于fedag，在每个epoch中，随机选择k = 10个设备启动本地更新。，也就是说，服务器在接收到本地模型时立即更新全局模型。服务器和工作线程之间的通信是非阻塞的。因此，服务器和工作人员可以随时更新模型而不需要同步，这对于设备具有异构条件时是有利的。数据集：CIFAR-10和WikiText-2。训练集被划分为n＝100个设备。小批量大小分别为50和20。我们用不同的学习率γ、正则化权值ρ、混合超参数α和过时性来测试FedAsync。
2024-03-05 15:37:48
782
原创 JUC多并发编程--＞Synchronized与锁升级、AQS、ReentrantReadWriteLock
无锁、偏向锁、轻量级锁、重量级锁对象头标志位。
2024-02-28 17:40:46
842
原创 JUC多并发编程--＞ThreadLocal
JVM内部维护了一个线程版的Map(通过ThreadLocal对象的set方法，结果把ThreadLocal对象自己当做key放讲了ThreadLoalMap中),每个线程要用到这个T的时候，用当前的线程去Map里面获取，通过这样让每个线程都拥有了自己独立的变量，人手一份，竞争条件被彻底消除，在并发模式下是绝对安全的恋量。(自己用自己的变量不麻烦别人，不和其他人共享，人人有份，人各一份)，主要解决了让每个线程绑定自己的值，通过使用。统一设置初始值，但是每个线程对这个值的修改都是各自线程互相独立的。
2024-02-02 18:26:44
841
原创 JUC多并发编程--＞CAS和原子操作类
再次强调，由于CAS是一种系统原语，原语属于操作系统用语范畴，是由若于条指令组成的，用于完成某个功能的一个过程，并且原语的执行必须是连续的，在执行过程中不允许被中断，也就是说CAS是一条CPU的原子指令，不会造成所谓的数据不一致问题。CAS 是实现自旋锁的基础，CAS 利用 CPU 指令保证了操作的原子性，以达到锁的效果，至于自旋呢，看字面意思也很明白，自己旋转。是指尝试获取锁的线程不会立即阻寒，而是采用循环的方式去尝试获取锁，当线程发现锁被占用时，会不断循环判断锁的状态，直到获取。对象的属性修改原子类。
2024-01-30 17:02:12
923
原创 VAFL---A Novel Optimized Asynchronous Federated Learning Framework
面临的问题：网络或计算资源的差异–> 客户不会同时更新梯度，这可能需要更多的时间等待解决方案：提出了一种新颖的 AFL 框架 VAFL。VAFL可以减少约51.02%的通信次数，平均通信压缩率为48.23%，并且使模型收敛速度更快。
2024-01-23 15:40:06
791
1
原创 JUC多并发编程--＞JＭＭ
JMM java 内存模型：MM(Java内存模型Java Memory Model，简称JMM)本身是一种抽象的概念并不真实存它仅仅描述的是，通过这组规范定义了程序中(尤其是多线程)各个变量的读写访问方式并决定一个线程对共享变量的写入何时以及如何变成对另一个线程可见，关建技术点都是围绕多线程的展开的。
2024-01-22 14:47:53
796
原创 JUC多并发编程--＞中断机制
若要中断一个线程，你需要手动调用该线程的interrupt方法，该方法也仅仅是将线程对象的中断标识设成true;接着你需要自己写代码不断地检测当前线程的标识位，如果为true，表示别的线程请求这条线程中断，此时究竟该做什么需要你自己写代码实现。每个线程对象中都有一个中断标识位，用于表示线程是否被中断:该标识位为true表示中断，为false表示未中断:过调用线程对象的interrupt方法将该线程的标识位设为true;可以在用到的线程中调用，也可以在自己的线程中调用。分别是阻塞线程和解除阻塞线程。
2024-01-19 14:15:38
916
1
原创 基于知识蒸馏的的FL --＞ FedGen:Data-Free Knowledge Distillation for Heterogeneous Federated Learning
传统的知识蒸馏解决用户异质的问题：通过使用异构用户的聚合知识来改进服务器模型，这种方法依赖于代理数据集（不符合实际）。并且聚合的知识没有被充分利用来指导局部模型学习，这可能反过来影响聚合模型的质量。提出了一种无数据的知识蒸馏方法来解决异构 FL。服务器学习一个轻量级生成器以无数据的方式集成用户信息；然后将其广播给用户，用学到的知识调节本地训练作为归纳偏置。
2024-01-16 22:44:53
1040
1
原创 ElasticSearch
Elaticsearch ，简称为es，es是一个开源的，它可以近乎，本身扩展性很好可以扩展到上百台服务器，处理(大数据时代)的数据。es也使用java开发并使用Luene（基于倒排索引的）作为其核心来实现所有索引和搜索的功能，但是它的目的是通过简单的RESTful API(一个请求可以有不同的请求方法get post put delete)来隐藏Lucene的复杂性，从而让全文搜索变得简单。
2024-01-10 15:42:51
819
原创 JUC多并发编程--＞多线程锁
一个对象中如果有多个synchronized方法，某一时刻，只要一个线程去调用了其中的一个synchronized方法，其他线程都只能等待。非公平锁：多个线程获取锁的顺序并不是按照申请锁的顺序，有可能后申请的线程比先申请的线程优先获取锁，在高并发的环境下，有可能造成优先级翻转或者饥饿的状态。系然资源充足，进程的资源请求都能够得到满足，死锁出现的可能性就很低，否则就会因争夺有限的资源而陷入死锁。一个线程中的多个流程可以获取同一把锁，持有这把同步锁可以再次进入自己可以获取自己的内部锁。
2024-01-09 22:08:30
743
原创 torch、torchvision下载网址
https://download.pytorch.org/whl/torch/https://download.pytorch.org/whl/torchvision/
2024-01-05 12:41:20
612
1
原创 联邦类增量学习
联邦类增量学习已经参与联邦学习的用户经常可能收到新的类别，但是考虑到每个用户自己设备的存储空间有限，很难对其收集到的所有类别都保存下足够数量的数据。这种情况会导致联邦学习模型对于旧类数据的性能遇到严重的灾难性遗忘。全局-局部遗忘补偿（GLFC）模型，同时从global和local 俩个角度出发，尽可能的减弱灾难性遗忘，使联邦学习最终可训练一个全局增量模型。交叉熵是指俩个分布之间的距离，距离越小，分布越接近yi是标签1或0，即二分类的是或不是，pyi可以理解为对应真实标签yi。
2023-08-01 10:48:25
485
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人