- 博客(33)
- 收藏
- 关注
RSS订阅原创 Labelme中打标签，jpg转png
input_directory = 'E:/Text_traffic_signs/交通标志'# 生成新的文件名（没有扩展名）# 保存PNG文件到输出目录。# 指定转换后的PNG文件要保存在哪个目录。# 检查文件是否是JPG文件。# 指定包含JPG文件的目录。# 确保输出目录存在。# 遍历目录中的文件。
2023-09-25 15:57:17
130
原创 RuntimeError: result type Float can‘t be cast to the desired output type long int
将loss.py中gain = torch.ones(7, device=targets.device)改为gain = torch.ones(7, device=targets.device).long()即可。原因是新版本的torch无法自动执行此转换，旧版本torch可以。
2023-02-09 22:03:18
739
原创 FATE-单机版-pycharm配置
很多同学觉得使用jupyter来调试FATE很不习惯，那么如何使用pycharm来调试FATE，pycharm如何在linux中安装，环境如何选择，本文来进行一站式解答。
2023-02-09 20:56:05
554
原创 FATE —— 三. 使用DSL json conf运行作业
我们可以通过将model_id、model_version和数据集名称替换为您的名称来修改现有的预测conf，以生成新的预测conf。这里，我们将预测conf中的model_id和model_versin替换为部署模型作业返回的model_id和model_version。您可以使用“flow job config”命令查询作业的相应model_id和model_version。将jobId以及model_id和model_version替换成自己的后，再执行。将jobId替换成自己的后，再执行。
2023-01-14 13:54:32
253
翻译 FATE —— 三. job上载数据
"head": 1,字段说明：file: 文件路径table_name&namespace: 存储数据表的标识符号head: 指定数据文件是否包含表头partition: 指定用于存储数据的分区数。
2023-01-13 20:19:00
280
翻译 FATE —— 三.1 使用DSL json conf任务配置和运行配置 V2
DSL 的配置文件采用 json 格式，实际上，整个配置文件就是一个 json 对象 （dict）。Job Runtime Conf用于设置各个参与方的信息, 作业的参数及各个组件的参数。
2023-01-13 20:06:21
789
翻译 FATE —— 三.2 FATE-Flow document
生成的模型部署到在线推理系统中，当前支持创建基于 KFServing 的推理服务。用指定的 Checkpoint 模型替换 Pipeline 模型。用指定的 Checkpoint 模型替换 Pipeline 模型。向 Fate-Serving 加载 deploy 生成的模型。向 Fate-Serving 绑定 deploy 生成的模型。基于横向训练的模型，生成其他 ML 框架的模型文件。从本地或存储引擎中导入模型。导出模型到本地或存储引擎中。从模型中添加或删除标签。获取模型的标签列表。
2023-01-13 19:58:07
221
原创 FATE —— 二.4.4 联邦任务，guest 使用图像数据，host使用文本数据
在本任务中，我们将向您展示如何在Hetero NN下构建联合任务，其中参与方使用不同的结构化数据：来宾方具有图像数据和标签，宿主方具有文本，它们一起完成二进制分类任务。教程数据集由flickr 8k构建，标签0和1指示图像是在荒野中还是在城市中。您可以从这里下载处理过的数据集，并将其放在examples/data下。完整的数据集可以从这里下载。（请注意，原始数据集与本示例中的数据不同，出于演示目的，此数据集用完整数据集的一小部分进行了注释。
2023-01-13 11:28:27
395
原创 FATE —— 二.4.3 使用冻结参数Bert进行情绪分类
在本例中，我们将使用Frozen Parameters Bert构造一个文本分类器，并在IMDB情感分类数据集上进行训练。
2023-01-12 23:05:50
511
1
原创 FATE —— 二.4.2 Criteo上的联邦经典CTR模型训练
在本教程中，我们将向您展示如何开发水平联合推荐模型。我们使用第三方库torch rechub调用一些经典的推荐模型，如FM、DeepFM等，并使用它在FATE中构建联邦任务。在数据集方面，我们使用了经过采样和预处理的Criteo数据集，共有50K个数据。为了方便起见，在本教程中，所有客户端都使用相同的数据集。
2023-01-12 20:09:08
829
原创 FATE —— 一.2 pipeline上传数据教程
要使用Pipeline，我们需要首先指定要连接到哪个FATE流服务。在开始建模任务之前，应上载要使用的数据。通常，一方通常是包含多个节点的集群。因此，当我们上传这些数据时，数据将被分配给这些节点。假设我们在127.0.0.1:9380中有一个FATE流服务（默认为独立模式），然后执行。pipeline与fate_client一起分布。有关使用pipeline提交作业的更多演示，请参阅。定义将在FATE作业配置中使用的表名和命名空间。现在，我们添加要上载的数据。注意，只需要本地方id。然后我们可以上传数据。
2023-01-12 15:09:26
739
7
原创 FATE —— 二.4.1 联邦Rensnet关于CIFAR-10的训练
在这个示例中，我们向您展示了如何使用torchvision模型来执行联合分类任务数据集：CIFAR 10为了便于演示，我们的客户将使用相同的数据集。
2023-01-11 20:49:06
443
原创 FATE —— 二.3.2 Hetero-NN使用CustModel设置顶部、底部模型
将模型代码命名为bottom_net.py，您可以将其直接放在fedratedml/nn/model_zoo下，或使用jupyter的快捷界面：save_to_date，将其直接保存到fedratedml/nn/model_zoo。这是我们为特征提取定义的底部模型结构。nn.ReLU(),nn.ReLU()return x这是我们为分类定义的顶级模型，我们将其命名为top_model.py。
2023-01-11 19:37:34
314
原创 FATE —— 二.3.1 Hetero-NN自定义数据集
FATE系统主要支持表格数据作为其标准数据格式。然而，通过使用NN模块的数据集特性，可以在神经网络中使用非表格数据，例如图像、文本、混合数据或关系数据。NN模块中的数据集模块允许自定义数据集，以便用户可以在更复杂的数据场景中使用它们。本教程将介绍Hetero NN中数据集功能的使用。为了便于演示，我们将使用MNIST手写识别数据集作为示例来模拟Hetero Federation任务以说明这些概念。
2023-01-10 22:50:14
431
翻译 FATE —— 二.2.7 开发聚合器：介绍基础知识
在本教程中，我们将向您介绍聚合器的基类。我们将向您解释如何利用基础聚合器的通信功能在不同方之间交换数据。
2023-01-10 21:48:06
316
原创 FATE —— 二.2.6 Homo-NN使用FATE接口Trainer
在本教程中，我们将演示如何使用培训师用户界面返回格式化的预测结果，评估模型的性能，保存模型，并在仪表板上显示损失曲线和性能分数。这些接口允许您的培训师与FATE框架集成，使其更易于使用。在本教程中，我们将继续开发我们的玩具FedProx训练器。此函数允许您在字典中保存训练过程的摘要，例如丢失历史和最佳时期。任务完成后，您可以从管道中检索此摘要。...
2023-01-10 21:38:02
358
原创 FATE —— 二.2.5 Homo-NN定制Trainer以控制训练过程
在本教程中，您将学习如何创建和定制您自己的Trainer，以控制培训过程、进行预测并汇总结果以满足您的特定需求。我们将首先向您介绍需要实现的TrainerBase类的接口。然后，我们将提供FedProx算法的工具示例（请注意，这只是一个工具示例，不应在生产中使用），以帮助您更好地理解教练定制的概念。
2023-01-10 21:09:48
356
原创 FATE —— 二.2.3 Homo-NN自定义损失函数
当Pytorch的内置损失功能不能满足您的使用需求时，您可以使用自定义损失来训练您的模型Customized Loss是torch.nn.Module的子类并实现forward函数的类。在FATE训练器中，损失函数将传递两个参数：预测分数和标签（loss_fn（pred，loss）），因此当您使用FATE的训练器时，损失函数需要将两个参数作为输入（预测分数&标签）。然而，如果您使用的是自己的培训师，并且定义了自己的培训流程，那么您不受如何使用损失函数的限制。
2023-01-08 11:32:59
327
原创 FATE —— 二.2.2 Homo-NN内置数据集
在FATE-1.10中，提供了表、nlp_标记器和图像三个数据集，以满足表数据、文本数据和图像数据的基本需求。
2023-01-07 14:14:27
301
原创 FATE —— 二.2.1 Homo-NN自定义数据集
FATE系统主要支持表格数据作为其标准数据格式。然而，通过使用NN模块的数据集特性，可以在神经网络中使用非表格数据，例如图像、文本、混合数据或关系数据。NN模块中的数据集模块允许定制数据集，以用于更复杂的数据场景。本教程将介绍Homo NN模块中数据集功能的使用，并提供如何自定义数据集的指导。我们将使用MNIST手写识别任务作为示例来说明这些概念。请从以下链接下载MNIST数据集，并将其放在项目示例/数据文件夹中：MNIST这是MNIST数据集的简化版本，共有十个类别，根据标签分为0-9 10个文件夹。我们
2023-01-06 21:22:39
698
1
翻译 FATE —— 二.1.2 Hetero-NN快速入门：二进制分类任务
在本教程中，您将学习如何使用Hetero NN。应该注意的是，Hetero NN也已升级为与Homo NN类似的工作方式，允许使用Pytorch后端对模型和数据集进行高度定制。我们将在后面的章节中专门介绍针对Hetero NN的定制。此外，Hetero NN还改进了一些接口，如交互层接口，这使其使用逻辑更加清晰。在本章中，我们将提供一个使用Hetero-NN的基本二进制分类任务的示例。
2023-01-06 17:40:54
467
翻译 FATE —— 二.1.2.1 Hetero-NN异构神经网络
神经网络可能是近年来最流行的机器学习算法。FATE提供了联邦异构神经网络实现。这种联合异构神经网络框架允许多方联合进行具有部分重叠的用户样本但不同特征集的学习过程，这对应于垂直分区的虚拟数据集。Hetero NN的一个优点是它提供了与非隐私保护方法相同的准确度，同时不透露每个私有数据提供商的信息。
2023-01-06 17:14:41
445
原创 FATE —— 二. NN Modules
为了熟悉FATE-NN和管道，我们建议您完成这两个快速入门教程。如果您使用的是表格数据，并且不需要任何自定义，那么这些教程应该足以满足您的需要Homo-NN快速入门：二进制分类任务Hetero-NN快速入门：二进制分类任务。
2023-01-06 17:02:19
351
翻译 FATE —— 二.1.1 Homo-NN二进制分类任务
请注意，在本教程中，我们使用的是独立版本，如果您使用的是集群版本，则需要在每台计算机上上载相应的数据。默认情况下，您可以在与其他FATE算法组件相同的过程中使用Homo NN组件：使用FATE附带的读取器和转换器接口输入表数据并转换数据格式，然后将数据输入算法组件。到目前为止，我们已经对Homo NN有了基本的了解，并利用它完成了基本的建模任务。请确保执行以下fate_torch_hook函数，该函数可以修改某些torch类，以便可以通过管道解析和提交您在脚本中定义的torch层、顺序、优化器和损失函数。
2023-01-05 21:25:56
680
1
原创 高阶函数-filter()
filter(func,iterable)功能： 过滤数据，把 iterable 中的每个元素拿到 func 函数中进行处理， 如果函数返回 True 则保留这个数据，返回 False 则丢弃这个数据参数： func 自定义函数 iterable 可迭代的数据返回值： 保留下来的数据组成的 迭代器# 案例1 要求保留所有的偶数，丢弃所有的奇数varlist = [1,2,3,4,5,6,7,8,9]# 普通方法newlist = []for i i.
2022-03-09 14:20:24
115
原创 高阶函数 - map()
map(func,*iterables) ==> map(功能，例如类型的转换,可以迭代的数组或列表)功能: 对传入的可迭代数据中的每个元素放入到函数中进行处理，返回一个新的迭代器参数: func 函数 自定义函数|内置函数 iterables: 可迭代的数据返回值: 迭代器案例1 把一个字符串数字的列表转为 整型的数字列表普通的处理方法varlist = ['1','2','3','4']newlist = []for i i..
2022-03-09 14:15:02
213
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人