![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
联邦学习
文章平均质量分 52
沉睡中的主角
忆昔穷苍茫
清心浴乾坤
展开
-
完整的模型训练套路(pytorch)
(联邦学习笔记,资料来源于b站小土堆)训练模板1、准备数据集2、获取数据集长度,可以用来辅助计算精确度3、加载数据集(DataLoader)4、搭建网络模型(一般单独一个python文件)5、创建网络模型(实例化)6、定义损失函数、优化器7、设置训练网络的一些参数(如训练次数、轮数等等)8、模型训练具体代码实现如下(简单示例):1、准备数据集train_data = torchvision.datasets.CIFAR10("../data",train=原创 2021-08-06 20:18:54 · 5819 阅读 · 4 评论 -
模型的保存与加载(pytorch)
(联邦学习笔记)对于我们自定义的或者对于现存的模型进行修改后,我们可能要在别的地方进行调用,这时候需要先将它进行保存以便后续调用。模型保存对于模型的保存有两种方式,一种是同时保存模型结构和模型参数;另一种是仅保存模型参数(官方推荐)保存方式一(保存模型结构和模型参数):torch.save(vgg16,"vgg16_methond1.pth")其中vgg16是模型,vgg16_methond1.pth是保存的名称保存方式二(仅保存模型参数):torch.save(vgg1原创 2021-08-06 11:04:52 · 534 阅读 · 0 评论 -
现有网络模型的使用和修改
(联邦学习笔记)在pytorch中,torchvison.module里有很多现有的模型可以直接使用,包括Alexnet VGG ResNet SqueezeNet DenseNet Inception v3 GoogLeNet ShuffleNet v2 MobileNet v2 MobileNet v3 ResNext Wide ResNet MNASNet Quantized Models官方文档链接:https://pytorch.org/vision/stab.原创 2021-08-05 20:59:58 · 477 阅读 · 0 评论 -
优化器TORCH.OPTIM
Optim是一个实现各种优化算法的包。大多数常用的方法已经得到支持,接口也足够通用,因此将来也可以轻松集成更复杂的方法。常用套路:1. 计算loss result_loss =nn.CrossEntropyLoss(output,targets)2. 清空梯度optim.zero_grad()3. 反传传播result_loss.backward()4. 更新参数optim.step()优化器使用的简单案例:import torchimport torchvis...原创 2021-08-05 20:11:01 · 419 阅读 · 0 评论 -
损失函数和反向传播
L1LOSS原创 2021-08-05 19:44:59 · 1188 阅读 · 0 评论 -
神经网络搭建+sequential
搭建神经网络+sequential(联邦学习笔记)sequential:顺序容器。模块将按照它们在构造函数中传递的顺序添加到它当中。或者,可以传入模块的OrderedDict。Sequential的forward()方法接受任何输入并将其转发到它包含的第一个模块。然后,它将每个后续模块的输出顺序链接为输入,最后返回最后一个模块的输出。(能简化代码)下面以CIFR10的卷积神经网络搭建模型。1、有三个卷积层,卷积核均为5x52、最大池化层有三个,内核为2x23、数据经过 卷积层原创 2021-08-05 16:50:04 · 915 阅读 · 0 评论 -
联邦学习(pytorch)的损失值为负值解决办法
在用pytorch运行联邦学习程序时,损失值出现负值,如下:出现这种情况,我们可以用以下解决方法:方法一:在定义的模型里把 self.softmax = nn.Softmax(dim=1) 改成self.softmax = nn.LogSoftmax(dim=1)在代码里如下:修改后的执行结果如下:方法二:因为交叉熵有个负对数,所以当网络输出的概率是0-1时,损失值为正数。而当网络输出大于1的数,就有可能变成负数。因此需要添加一行out1 = F.soft.原创 2021-08-01 10:53:16 · 2590 阅读 · 0 评论 -
联邦学习概要
何为联邦学习联邦学习本质上是一种分布式机器学习技术,或机器学习框架以往的机器学习把用户端的数据收集起来统一训练,虽然这样能够充分利用数据间的联系进行训练一个统一模型从而来预测未来的数据走向或者制定相应的政策。但是,传统的机器学习要让用户端间的数据进行分享,因此有可能导致用户端隐私数据的泄露,同时,用户端不一定乐于分享自己的隐私数据。联邦学习应运而生,在联邦学习中,用户端不用上传自己的本地数据,只需要在本地训练数据形成一个本地模型,然后每个用户端将自己训练的本地模型上传到联邦服务器,联邦服务器对所有传原创 2021-07-21 20:30:39 · 355 阅读 · 0 评论 -
矩阵在联邦学习中的应用
矩阵在联邦学习中的应用原创 2021-04-16 18:50:51 · 299 阅读 · 0 评论