weixin_47754029的博客

其中.Compose()函数表示将多个图片操作联合起来，而.ToTensor()则代表将图片格式转换成为tensor张量格式，.Normalize()代表归一化处理，其中最主要的做法就是：得到数据集的均值与标准差，再让每个样布减去均值，除以标准差，让图片从0~32转换到[0,1]区间内。其次，代码中使用loss.backward()时，本质上是反向求其偏导，而并没有真正的进行权重更新，我们还需要加入optimizer.step()来进行真正的更新！池化(padding=2,stride=2)-->

解决（1）：train与val的位置不对。注意：可先将general的NUM_THREARD改为1，等程序train完成后 恢复原来NUM_THREARD的值 进行delect验证。有的标签在labelimg过程中的存储形式是xml.txt 此时要将.txt改为.xml.txt。解决（1）：将utils/general.py的 NUM_THREARD改为1。解决（2）：查看在utils/dataloader.py的中的。解决（2）：程序中的num_worker改为0或1。

文中说明，联邦学习通过计算传递梯度聚合模型时，客户端之间的异构性通常会阻碍模型优化收敛和泛化性能。故本文提出新的FedProto框架，将梯度替换成为原型，通过计算、聚合从不同客户端收集到的本地原型，然后将全局原型发送回所有客户端，以规范本地模型的训练。对每个客户机进行局部训练的目的是最小化对本地数据的分类损失，同时保持生成的本地原型足够接近相应的全局原型（损失函数最小+正则）。什么是原型？文中提到：“

原文的公式权值用x,y表示，如果结合FedAvg与FedProx的话，看起来很费劲，所以我还是按照权值为w的形式书写，相比于FedAvg只有权值聚合更新，SCAFFOLD添加了控制变量C来减少局部更新中“客户端漂移”，同时在server聚合时，对控制变量C也做了更新。在FedAvg局部更新中，为了减小客户端与服务器之间的通信效率，同时克服数据样本非独立同分布的缺陷，FedAvg选择在局部更新选用较多的epoch，SGD选用较小的步长。它在每个客户端的更新中引入了漂移，导致了缓慢和不稳定的收敛。

在client本地增加计算量，而通信时只进行加权聚合操作。【FedAvg论文笔记】&【代码复现】_fedavg代码_爽爽不会编程的博客-CSDN博客FedAvg的缺点：1、不允许参与设备根据底层的系统执行可变的轮次（就是本地局部迭代轮次E是固定的），故算力不同的设备迭代固定E轮次的时间不同，这对后面服务区等待聚合局部模型肯定会有影响嘛。2、某些设备在规定时间位未达到收敛会被服务器“丢弃”。

DGC包括：动量校正、局部梯度剪切、动量因子掩蔽和热身训练。

SGD是当下使用最广泛地优化器，原理是通过求得当前参数损失函数的最大梯度，往梯度的反方向走即可走到损失函数的极小值点。可以想象成盲人要寻找最快下山的过程，那就是不断地摸索当下点周围最陡峭的方位，沿着那个方位走是最大概率时间最短到达山谷的。

首先什么是差分隐私？e-DP差分隐私算法：给对于两个数据集D和D’，D和D’相差一条记录，记作|DΔD'|≤1，一个随机算法A，S为A在D和D’数据集上输出的结果，S∈range(A)，符合下面的公式，则称A满足e-DP差分隐私:Pr[]是隐私被泄露的概率，e是指隐私保护参数，可以表示隐私保护的程度，它越小，隐私保护越好，但是加入的噪声就越大，数据可用性就下降了通俗而言，在数据集中修改一条数据，不会对算法输出的分布带来太大的影响，当攻击者观察输出结果S时，很难区分出数据到底来自D还是D’。