- 博客(15)
- 收藏
- 关注
原创 【无标题】
假设每个节点都使用一份数据,便可以使用for循环进行简单控制,上传乳腺癌诊断的横向联邦学习的数据集。循环使用不同的host节点id初始化pipeline。在配置文件处将host节点扩充至10个。
2024-06-18 14:43:28
203
原创 【无标题】
修改训练模型文件,使用Reader类实例化的对象通过上传时设置的tablename和namespace读取到数据,设置两次任务,读取两种host节点数据。通过上传两份host数据模拟两个host节点。修改pipeline文件下的config.yaml,此文件为训练时读取的节点设置文件。Arbiter的作用主要是作为协作者和中立第三方,负责聚合多方模型。在FATE中guest和host的区别是什么,两者的功能分别是什么?在fate_flow目录下的model文件夹中有每次训练的模型。
2024-06-04 17:26:08
271
原创 【无标题】
但由于FATE跨版本差异较大,目前仍在根据版本调配出现的问题,以及根据给出的样例写出自定义的pipeline用于2.1版本的训练。将输出的json串放到对应的conf的nn_define项处,并修改host和guest处的表名和命名空间,与上传时对应。使用Keras,采用自定义模型的方法,自定义多层卷积神经网络来训练模型。修改guest、host的table name和namespace。为提交数据配置upload的conf。
2024-05-21 17:23:02
1119
1
原创 FATE集群部署5.14
在下载1.11.0版本的部署压缩包时,我突然看到部署MySQL的日志中间有段显示发生未知错误,仔细观察后发现似乎是来源的mirror无法找到。然后我只能使用cent OS系统来部署,使用2.1.0版本的FATE部署后测试然会出现下面所示的错误。显示找不到mysql的服务,找了挺多mysql的解决方案,都不能行。查看日志也没有发现有什么报错, 我决定降版本进行尝试。能跑了,尝试换回2.1.0的版本,但依然出现下方错误。尝试根据下文来解决FATE部署时数据库问题。
2024-05-14 15:03:41
155
1
原创 4月23日
Dataset是一个抽象类,通常将数据包装为Dataset类,然后传入DataLoader中,我们再使用DataLoader这个类来更加快捷的对数据进行操作。通过数据把图像数据.append到数组中,然后通过CSV将数组中的数据下入CSV文件。当有多个数据集可供选择时,可以在选择数据集时比较数据集大小,尽量选择数据集大的数据集。
2024-04-22 13:12:50
149
原创 FedScale平台
键,如果有,根据其值决定使用 Docker 还是 Kubernetes 容器。从配置中获取 Parameter Server 的 IP 和 Worker 的 IPs。遍历配置中的 Worker IPs,将每个 IP 与 GPU 列表对应起来。构建配置脚本和设置命令。如果存在设置命令,则将其拼接为字符串。设置默认的日志路径,以及从配置中获取的 SSH 用户。从 YAML 文件中加载配置信息,结果存储在。构建命令后缀字符串 ,处理作业命与日志路径。生成当前时间的时间戳,并初始化作业名称。
2023-12-26 20:47:54
369
1
原创 关于激励机制
此外,我们发现的最佳K,懒惰的客户端的数量,和懒惰的客户端使用的人工噪声的功率之间的关系。首先提出了一种分层的区块链支持的FL架构,该架构利用区块链的不可变和透明特性,实现知识和交易信息的安全存储和共享,并具有可扩展性。(也就是FLchain)考虑到博弈论可以用来分析参与者的策略,我们构建了一个以能源部门和监事会为参与者的博弈模型,设计了基于博弈论的激励机制,并通过智能合约的方式实现。设计和评估了一种新的BFL框架,并解决了普通的BFL中发现的挑战,具有更大的灵活性和激励机制,称为FAIR-BFL。
2023-12-26 20:29:12
1219
1
原创 AUCTION: Automated and Quality-Aware Client Selection Framework for Efficient Federated Learning
【真实数据集】
2023-11-07 13:31:52
117
原创 部分背景知识了解
纳什均衡是博弈论中一种解的概念,它是指满足下面性质的策略组合:任何一位玩家在此策略组合下单方面改变自己的策略(其他玩家策略不变)都不会提高自身的收益。
2023-10-17 19:11:26
47
原创 激励机制相关论文的阅读
解决问题:普通的基于区块链的联邦学习(BFL)的一个问题是它的功能不能以动态的方式满足采用者的需求。此外,普通的基于区块链的联邦学习(BFL)依赖于无法验证的客户端自我报告的贡献,如数据大小,因为出于隐私考虑,FL不允许检查客户端的原始数据。如何解决:设计和评估了一种新的BFL框架,并解决了普通的BFL中发现的挑战,具有更大的灵活性和激励机制,称为FAIR-BFL。解决问题:(对于FL来说)确保知识的安全性,处理参与者的懒惰行为以及实施更为有效的激励。时间:2022 Feb 18。
2023-09-28 10:54:52
1060
原创 论文笔记“Federated Learning Meets Blockchain in Edge Computing: Opportunities and Challenges”
模型聚合的去中心化不仅减轻了单点故障的风险,以获得更好的训练可靠性,而且还减轻了全局模型聚合中中央服务器的负担,特别是当边缘网络拥有大量客户端时。相反,所有区块链节点,如边缘网络中的移动设备和MEC服务器,都拥有通过共识机制验证和管理存储在区块链中的数据的平等权利。通过使用区块链,FL可以通过分散的数据分类账实现,而不需要任何中央服务器,从而降低了单点故障的风险,并且所有网络实体都以透明的方式跟踪任何更新事件和用户行为。值得注意的是,在经典的FL中,全局模型是由MEC服务器计算和更新的。
2023-09-14 13:23:23
313
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人