MindSpore：mindspore.dataset中的split功能

最新推荐文章于 2022-08-12 09:05:07 发布

小乐快乐

最新推荐文章于 2022-08-12 09:05:07 发布

阅读量572

点赞数

文章标签： numpy python 深度学习

本文链接：https://blog.csdn.net/weixin_45666880/article/details/126021809

版权

问题描述：

【功能模块】

mindspore.dataset

split函数

https://www.mindspore.cn/doc/api_python/zh-CN/r1.1/mindspore/dataset/mindspore.dataset.NumpySlicesDataset.html?highlight=split#mindspore.dataset.NumpySlicesDataset.split

【操作步骤&问题现象】

问题一：

文档建议split前不要shuffle，否则每个epoch可能拿到不一样的训练集，是不是可以理解为每个epoch会进行一次split？

mindspore.dataset.NumpySlicesDataset — MindSpore r1.1 documentation

问题二：

我尝试用官网提供的NumPy数据格式代码测试split功能，但看不出切分效果，train和test不应该被分成3笔数据和1笔数据吗？为什么还都是4笔？

https://www.mindspore.cn/doc/programming_guide/zh-CN/r1.1/dataset_loading.html#numpy

【截图信息】

【日志信息】（可选，上传日志内容或者附件）

解决方案：

问题1：是因为每个epoch开始时，会对数据集index进行shuffle，那么按batch输出数据时，epoch1, epoch2, epoch3... 输出的数据顺序就不一样了。

问题2：我本地基于03/26 mindspore master的代码目前看是正确的。

你用的是r1.1版本？应该是我们在master中修复了这个bug，在mindspore r1.2版本发布后会是正确的。

故：现在给你的建议是，1) 先自己手动把数据集切分成两个NumpySlicesDataset，再使用。 2) 3月底 r1.2版本发布后，你再试下新版本。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小乐快乐

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

华为晟思Mindspore初体验：全场景统一式框架与函数式微分编程

cnjs1994的博客

09-20

1242

Mindspore 初体验（1）安装与minist数据集测试

datasetSplit:此数据集拆分器功能根据用户提供的百分比值将输入数据集拆分为两部分-matlab开发

05-31

在机器学习或其他项目中，通常的做法是保存一定比例的数据用于测试，其余的（通常是更大的块）用于训练。此功能完成相同的功能。用户可以自由提供预留用于培训的百分比。输入 -> 一世。完整的数据集（仅按一种类型的标签分组）（IMP：去掉列标题行） ii. 用于**测试**数据集的数据集百分比（通常是整个数据集的较小部分）输出 -> 一世。首先是较大的数据集（训练数据集） ii. 较小的数据集（测试数据集）

参与评论您还未登录，请先登录后发表或查看评论

【源码】datasetSplit：自动数据集拆分函数

weixin_42825609的博客

01-13

1910

在机器学习或其他项目中，通常的做法是保存一定百分比的数据用于测试，其余（通常较大的数据块）用于训练。此函数可以实现相同的功能。用户可以提供为训练数据保留的百分比。 During machine learning or other projects, it is a usual practice to save some percentage of data for testing and the rest (usually larger chunk) is used for training. This .

DeepLearningDatasetSplits：将图像数据集分为训练集和测试集的脚本

02-18

《机器学习实战》中的splitDataSet函数

weixin_33708432的博客

02-02

3173

splitDataSet这个函数困扰了我好一阵子，为什么以某一特征值为标准进行划分数据集以后，变成了局部？例如，如果以第1个特征为0为标准进行划分，那么返回的结果集就是不含有此特征的结果集，如下图红框部分所示：代码表示为：[[1, 'no'], [1, 'no']] 同理，如果以第1个特征为1作为标准，那么返回的结果集如下图所示：代码表示为：[[1, 'yes'], ...

pytorch 数据集划分

程序员-10086的博客

12-21

1881

pytorch 数据集划分 pytorch 提供了一个可用于划分Dataset的简单接口。如下： def random_split(dataset, lengths, generator=default_generator): r""" Randomly split a dataset into non-overlapping new datasets of given lengths. Optionally fix the generator for reproducible r

MindSpore数据集mindspore::dataset

吴建明wujianming_110117

01-24

1096

MindSpore数据集mindspore::dataset ResizeBilinear #include <image_process.h> bool ResizeBilinear(LiteMat &src, LiteMat &dst, int dst_w, int dst_h) 通过双线性算法调整图像大小，当前仅支持的数据类型为uint8，当前支持的通道为3和1。 • 参数 o src: 输入的图片数据。 o dst: 输出的图片数据。 o dst_w: 输出图片数据的宽度

MindSpore报错“TypeError: parse() missing 1 required positional.“

skytttttt9394的博客

07-17

712

例如有xxDataset->map->map->batch这样的数据处理流程。只保留xxDataset，然后运行下脚本，查看是否报错；保留xxDataset->map，然后运行下脚本，查看是否报错；保留xxDataset->map->map，然后运行下脚本，查看是否报错；保留xxDataset->map->map->batch，然后运行下脚本，查看是否报错；按照上述的方法，可定位到是哪个map/batch出错了。httpshttps。......

【MindSpore报错解决地图】常见报错问题分类（持续更新）

BaldheadedM的博客

08-12

2069

MindSpore常见问题主要包括数据加载与处理问题、网络构建与训练问题以及分布式并行配置问题等。MindSpore在不同场景下，积累了大量常见的问题案例。以下是对应的案例列表。

华为AI计算框架昇思MindSpore零基础快速入门 (下)

Echo-26的博客！

06-07

952

哔哩哔哩：https://www.bilibili.com/video/BV1CS4y1z72r?spm_id_from=333.999.0.0 Gitee：https://gitee.com/mindspore GitHub：https://github.com/mindspore-ai 官方QQ群：486831414 公众号：MindSpore 小助手微信：mindspore0328

TensorFlow dataset.shuffle、batch、repeat的使用详解

12-23

直接看代码例子，有详细注释！！ import tensorflow as tf import numpy as np d = np.arange(0,60).reshape([6, 10]) # 将array转化为tensor data = tf.data.Dataset.from_tensor_slices(d) # 从data数据集中按顺序抽取buffer_size个样本放在buffer中，然后打乱buffer中的样本 # buffer中样本个数不足buffer_size，继续从data数据集中安顺序填充至buffer_size， # 此时会再次打乱 data = data.shuffl

划分数据集

阿帕茶馆

09-29

314

```python import os import shutil import random def split_dataset(origin_path, new_dataset_path, split_ratio): ''' :param origin_path:存放所有数据的路径 :param new_dataset_path:新数据集的路径 :param split_ratio: 存储训练集/测试集/验证集的划分比例的字典 :return: '.

利用model_selection中的train_test_split对整个dataset进行切分

qq_30477323的博客

04-02

673

交叉验证：评估模型的表现 1.使用train_test_split可以对训练和测试集进行快速的切分在切分之前该函数参数中的shuffle的default = True，默认的会对数据进行洗牌之后再切分 import numpy as np from sklearn.model_selection import train_test_split X, y = np.arange(10).resh...

MindSpore:split后For ‘Mul‘, x.shape and y.shape are supposed to broadcast

BaldheadedM的博客

08-11

230

迁移时要勤翻pytorch和mindspore api的文档，除了利用mindconvert进行自动映射外，还需要注意一下不支持算子的映射。

split

越努力就越主动。

06-06

334

有时候会遇到一个字段内会存好几个路径的问题，中间使用|来分割，比方说图片的路径也许就是这样的。昨天需要显示商品的截图，需要将路径取出来显示到页面上，因为每个路径中间都用|隔开了，第一感觉就是使用split来做。使用DataSet取到数据之后将数据赋给一个string类型的字符串。 string s= ds.Tables[0].Rows[0]["UploadScreenshots"]

划分数据集的方法

yiyu_j的博客

08-08

6114

train_split方法： 1）导入包：from sklearn.model_selection import train_test_split 2）函数介绍：train_split(*arrays, test_size, train_size, random_state, shuffle, stratify) 3）参数介绍： a. *arrays: b. test_size: 测试集占总数...

Dataset类分批加载数据集

qq_35653657的博客

07-26

1281

这个类要配合的torch.utils.data中的DataLoader类才可以发挥作用#因为我在数据预处理的时候将转换成id的数据集全部持久化处理了,所以需要这个方法加载数据#获取文件#第三方库#自定义库#数据集的加载#这个方法负责将数据进行填充,并且转换成tensor对象#把这个批次中的数据按照list长度由高到低排序#将这个批次中数据长度放到len集合中#获得最大的长度#填充数据,都用0来填充init方法把所有数据集加载进来getitem。...

机器学习数据拆分_解释了关键的机器学习概念-数据集拆分和随机森林

08-14

791

机器学习数据拆分数据集分割 (Dataset Splitting) Splitting up into Training, Cross Validation, and Test sets are common best practices. This allows you to tune various parameters of the algorithm without making jud...

def load_data(args): if args.dataset == "cora": return citegrh.load_cora() elif args.dataset == "citeseer": return citegrh.load_citeseer() elif args.dataset == "pubmed": return citegrh.load_pubmed() elif args.dataset is not None and args.dataset.startswith("reddit"): return RedditDataset(self_loop=("self-loop" in args.dataset)) else: raise ValueError("Unknown dataset: {}".format(args.dataset))