- 博客(27)
- 收藏
- 关注
RSS订阅原创 The simplest way to configure Gtest in Macos
The simplest way to configure GTest in MacOS
2022-10-29 13:17:14
377
原创 Analysis of the Blockchain Protocol in Asynchronous Networks读书笔记（1）
Nakamoto's Consensus在异步网络环境下的安全性分析
2022-07-31 23:09:35
276
原创 学习如何挑选梯度：Optimizing Federated Learning on Non-IID Data with Reinforcement Learning
背景和文章思想这篇论文考虑的是Non-IID场景下的联邦学习，传统的联邦学习在Non-IID数据集上的表现比IID数据集上的表现要差很多，而且收敛速度也要慢很多。这篇文章便旨在通过对梯度的挑选来实现收敛速度的提升，但是与我们所知的机制不同的是，后者是有一个确定的策略去选梯度，但是前者的思路是使用深度强化学习方法来“学习”梯度的挑选方式深度强化学习概述深度强化学习，Deep Reinforcement Learning(DRL)目的是为了训练一个代理器agent，该agent在某个状态sts_tst下
2021-05-08 22:19:44
2250
7
原创 Client Selection for Federated Learning with Heterogeneous Resources in Mobile Edge
背景传统的联邦学习在当某些客户端的计算资源有限（即需要更长的训练时间）或者在无线信道状况较差（即导致上传时间更长）时，整个训练的过程可能会变得效率低下。这篇文章提出了一个新的FL协议FedCS，可以缓解上述问题。它的一个思想是根据客户端的资源状况来主动管理客户端，然后选择合适的客户端来进行模型聚合FedCS文章提出了一个FedCS协议，下面是该协议的过程：翻译一下上述协议过程：初始化：跟传统联邦一样，服务器随机初始化全局模型资源请求：服务器随机选择K×CK \times CK×C个客户端参与
2021-04-24 16:58:53
1109
原创 A Comprehensive Survey on Graph Neural Networks
最近打算从联邦学习方向转到联邦+图方向，因此读一些GNN相关的综述论文，从入门开始摘要深度学习被运用到图像分类、视频处理和自然语言处理等任务中，但是这些任务的数据表示都是在欧式空间中的。有一些任务的数据表示并不是在欧式空间中的，而是以图的形式进行表示。如果我们用传统的深度学习方法去完成这些任务将会非常棘手。GNN（graph neural networks）是解决这类任务的合适模型。Introduction曾经很多机器学习任务，如对象检测、机器翻译和语音识别，严重依赖人工的特征工程。这些问题被很多端
2021-04-16 22:27:19
379
原创 IPLS : A Framework for Decentralized Federated Learning
背景 & 论文思想今天介绍的还是一篇去中心化联邦学习的文章，与之前分享的一篇去中心化联邦学习文章有一些相似，都是将一个模型进行分片。改文章的死想是每个client都保留一部分分片，在训练模型更新参数的时候，首先从别的client中拿到自己所没有的模型分片组合成一个完成的模型，训练后再将梯度发送给其他的clientIPLS训练模型的方法本篇文章所介绍的训练算法主要分为以下几个部分Initialisation phase: 确定模型的拓扑结构（如ResNet），随机初始化模型的参数，确定优化
2021-04-10 17:06:16
1114
原创 Communication-Efficient Federated Learning for Wireless Edge Intelligence in IoT
概述这篇论文的脉络是比较清晰的，讲的就两件事：使用分布式的Adam优化来代替传统的FedAvg，减少通信轮次对模型进行压缩和解压缩，减少通信开销算法框架图整个算法的步骤如上图所示：下载模型本地训练模型压缩上传模型模型解压模型聚合从这里可以看到该论文提出的框架与传统的联邦框架并没有什么不同，唯二的区别在以下两个方面：本地训练使用的方法并不是SGD，而是AdamSGD，这两者的区别在于训练的步长是否发生变化在客户端上多了一个压缩模型的操作，相对应地在服务器上多了一个解压
2021-04-02 21:34:01
1172
2
原创 Federated Learning With Cooperating Devices: A Consensus Approach for Massive IoT Networks
最近在看Federated Learning for IoT的文章，该篇文章讲的是在IoT场景下的去中心化联邦。个人认为该文章是写的比较好的，因为不仅文章故事讲得好（IoT和去中心化确实比较契合，后面会讲），而且对于去中心化联邦的框架也具有不错的两点背景 && 论文思想在IoT的场景中，中心化联邦是不合适的。处于IoT中的设备通常被部署在关键控制应用中，并且在这些应用中，设备不能依赖远程单元进行快速反馈，它们只能与邻居交换信息来实现自我更新。因此，这片文章也是从此出发，使用共识的方式让处
2021-03-29 15:53:39
969
2
原创 Decentralized Federated Learning Preserves Model and Data Privacy
背景今天介绍的还是一篇关于去中心化联邦的论文，这篇论文与之前的区别在于并不是从网络的协议入手，而是利用了迁移学习中的知识蒸馏方法来实现去中心化。这种方法虽然创新性不是很足，但是也许可以与其他架构结合起来，具有一定的启发性问题定义Φ={ϕ1,ϕ2,...,ϕN}\Phi = \{\phi_1,\phi_2,...,\phi_N\}Φ={ϕ1,ϕ2,...,ϕN}为N个client上的模型组成的集合，E={e1,e2,...,eN}E=\{e_1,e_2,...,e_N\}E={e1,e2,..
2021-03-19 21:40:11
422
原创 连接服务器的jupyter
正常连服务器是下面这条命令：ssh -lusername -pport ip进行端口映射之后才能使用服务器的jupyter:ssh -L 8000:localhost:8888 username@ip -pport
2021-03-13 15:49:41
96
原创 BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning
背景最近想要找一些去中心化联邦的论文看，然后发现了两篇关于Peer-to-Peer的论文，其中一篇是BrainTorrent: A Peer-to-Peer Environment for Decentralized Federated Learning，另外一篇是Peer-to-Peer Federated Learning on Graphs。在这里介绍一下这两篇论文，然后总结一下目前遇到过的去中心化联邦的一般方法和方向...
2021-03-13 13:50:41
939
原创 Decentralized Federated Learning: A Segmented Gossip Approach
背景该篇文章从gossip协议中获得启发，旨在设计一个去中心化的联邦训练算法Gossip协议概要gossip协议又称epidemic协议，是基于流行病传播方式的节点或者进程之间交换信息的协议，在分布式系统中被广泛使用，经常被用来确保网络中所有节点的数据一样。我们可以利用gossip协议的这个特性来完成传统FL中的upload和download过程，达到取代中央服务器的作用协议执行过程gossp过程由种子节点发起，当一个种子节点有状态需要更新到网络中的其他节点时，它会随机的选择周围几个节点散播消息
2021-03-05 21:02:14
2158
4
原创 Device Sampling for Heterogeneous Federated Learning: Theory, Algorithms, and Implementation
这是一篇从采样方式去优化联邦学习模型的文章，有点难，看得云里雾里的…要解决的问题这篇文章主要解决的问题是由于不同节点的计算能力/通信能力不同，如果在进行采样的时候采到了这些节点，那么在这个节点上的很多数据都用不上，导致这些数据的信息被浪费掉。为了解决这个问题，论文采用了data offloading的方式将这些数据共享到其他节点上去，利用其他节点的更强大的计算能力/通信能力来将这些数据的信息利用起来Data Offloading数据分流(data offloading)这个概念出现在通信网络的场景中
2021-01-22 23:13:33
408
原创 FetchSGD: Communication-Efficient Federated Learning with Sketching
背景现有的联邦学习方法存在通信瓶颈和收敛性两个问题，该篇论文介绍了一种新的FL训练方法，叫做FetchSGD，旨在解决上述两个问题。论文思想该论文的主要思想是，用Count Sketch来对模型参数进行压缩，并且根据sketch的可合并性(mergeability)在服务器上对模型进行聚合。由于Count Sketch是线性的，因此局部模型上的momentum（不知道怎么翻译好，动量？）和error accumulation（错误累计）都会被带到服务器上，我们便可以在服务器上基于这些信息得到一个更佳的
2021-01-02 18:11:32
1829
5
原创 A Hybrid Approach to Privacy-Preserving Federated Learning
背景差分隐私(Differential Privacy)隐私其实是一个很微妙的定义，在机器学习领域，这个定义变得更加模糊，考虑以下场景：高德地图曾在《2016年度中国主要城市交通分析报告》中统计了各类车型车主最爱去的场所，结果显示奔驰车主住别墅，宝马车主爱购物，沃尔沃车主很文艺，…，而凯迪拉克车主偏爱去洗浴中心那么对于以下两个场景：小a是一位凯迪拉克车主，他爱去洗浴中心（属于隐私泄漏）假设我们已经得知了凯迪拉克车主爱去洗浴中心这一统计结果，然后又知道小a是一名凯迪拉克车主，因此我们猜测小a爱去
2021-01-01 21:37:52
1341
4
原创 VAFL: a Method of Vertical Asynchronous Federated Learning
背景和动机旨在提出一个异步垂直联邦学习框架保证数据的安全性提高传输效率论文贡献本篇论文提出了：一个对于垂直联邦学习框架通用的最优化公式( optimization formulation)灵活的异步训练架构严格的收敛分析(这里不作说明)垂直联邦学习(Vertical FL)与我们常见的联邦学习（水平联邦学习）不同的是，垂直联邦学习或基于特征的联邦学习适用于两个数据集共享相同的样本空间但是特征空间不同的情况。例如，考虑在同一城市中的两家不同的公司，一家是银行，另一家是电子商务公司。
2020-12-18 23:04:55
968
5
原创 FEDAT:A Communication-Efficient Federated Learning Method With Asynchronous Tires Under Non-IID Data
背景目前的联邦学习架构存在着以下问题：流浪者问题(straggler problem)：由于数据的异构和通信效率的不一致，中央服务器需要等待最慢的那个设备把数据返回之后才能进行下一轮的训练大量的设备需要将自身的模型参数上传给服务器，这构成了系统的传输瓶颈并且现有的很多联邦学习算法不能同时解决上面两个问题，一些研究者基于传统的联邦学习算法提出了异步训练的新训练架构，但是这种新的异步训练方法往往会造成更严重的通信开销贡献本篇论文为了解决上面两个问题，提出了一种新型的联邦学习方法FedAT，这种算
2020-12-11 22:13:51
2773
8
原创 SCAFFOLD: Stochastic Controlled Averaging for Federated Learning
背景传统的联邦学习在数据异构(non-iid)的场景中很容易产生“客户漂移”(client-drift)的现象，这会导致系统的收敛不稳定或者缓慢贡献提出了考虑到client sampling和数据异构的一个更接近的收敛边界证明即便没有client sampling，使用全批次梯度(full batch gradients)，传统的FedAvg依旧会因为client-drift而比SGD收敛速度更慢提出Stochastic Controlled Averaging algorithm(S
2020-12-06 23:49:19
3486
3
原创 Negroni中间件源码分析
Negroni中间件源码分析概述我们可以先看一下HTTP Server的处理逻辑：在这个逻辑处理的环节中，Negroni充当一个HTTP Handler的角色，并对于所有的HTTP Request的处理都会通过Negroni被转交到其内部的子中间件实现NegroniNegroni本质上可以被看作一个中间件是因为它实现了HTTP Handler接口，因此它可以被http.ListenAndServe()调用:func (n *Negroni) ServeHTTP(rw http.Response
2020-11-22 21:42:53
186
原创 在ubuntu上安装golang以及环境配置
Homework1目录：安装golang设置环境变量创建Helloworld创建第一个库第一个测试安装与运行go tour安装golangubuntu直接使用apt-get来下载，执行以下命令：sudo apt-get install golang但是这样子下载得到的版本并不是最新的，建议直接到官网下载然后进入安装包的目录下，执行：tar -xzf go1.15.2.linux-amd64.tar.gz然后将其复制到/usr/local下：sudo cp -rf go
2020-09-20 22:08:09
8116
原创 在mac上使用docker部署PostgreSQL数据库
在mac上使用docker部署PostgreSQL数据库前言在做数据库系统作业的时候，因为在mac上用PostgreSQL导入benchmarksql数据库的时候总会发生些奇怪的错误。为了解决这个问题，使用在docker上部署的PostgreSQL导入benchmarksql，可以避免类似"This connection has been closed"或者"the database syst...
2020-03-31 21:25:51
1198
1
原创 机器学习之决策树模型（1）
机器学习之决策树模型（1）简介和原理决策树学习本质上是从训练数据中归纳出一组分类规则。假设给定一个训练数据集：D={(x1,yx),(x2,y2),...,(xN,yN)}D = \{(x_1, y_x), (x_2, y_2), ..., (x_N, y_N)\}D={(x1,yx),(x2,y2),...,(xN,yN)}其中，xi=(xi(1),xi(2),...,x...
2020-03-05 23:37:08
192
原创 机器学习之朴素贝叶斯法
机器学习之朴素贝叶斯法简介朴素贝叶斯法是一种分类方法，主要是从训练集中根据统计规律学得分类方法。对于给定的输入x，利用贝叶斯定理求出后验概率最高的类别y基本方法和推导Input:x=(x(1),x(2),...,xn)x = (x^{(1)}, x^{(2)}, ..., x^{n})x=(x(1),x(2),...,xn)，为输入变量的特征向量Output:类别y∈{c1,c2,.....
2020-03-02 12:21:14
83
原创 机器学习之感知机模型
机器学习：感知机模型(perceptron)简介感知机是二类分类问题的线性分类模型，输入为实例的特征向量，输出为实例的类别，取+1和-1值定义假设输入空间（特征空间）是X∈RnX \in R^nX∈Rn，输出空间是Y={−1,+1}Y = \{-1, +1\}Y={−1,+1}，输入x∈Xx \in Xx∈X表示实例的特征向量，对应与输入空间（特征空间）的点；输出y∈Yy \in Yy∈Y...
2020-02-25 01:34:40
242
原创 MacOS将python版本改为Anaconda版本或其他版本的方法
MacOS将python版本改为Anaconda的版本方法方法在/chechunjiang中打开.bash_profile文件在文件的最后加上：PATH = "/Users/chechunjiang/Documents/anaconda/安装位置/anaconda3/bin:${PATH}"export PATH这样默认的python版本就是anaconda安装的python版本...
2020-02-24 16:26:12
2341
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人