MindRecord是MindSpore开发的一种高效数据格式,此模块提供了一些方法帮助用户将不同数据集转换为MindRecord格式, 也提供了一些操作MindRecord数据文件的方法如读取、写入、检索等。 用户可以使用FileWriter API生成MindRecord格式数据集,并使用MindDataset API加载MindRecord格式数据集。
相关的API可以参考:mindspore.mindrecord
在Windows平台上,且MindSpore版本 <= 1.4.0情况下,在生成MindRecord文件并将其移动位置(如MindRecord文件生成在A目录,再搬到B目录),会出现如下错误:
=========================>
=========================>
由于MindSpore的版本差异,相同错误的错误信息可能不同,但一般就是这两种:
- RuntimeError: Thread ID 1 Unexpected error. Fail to open ./data/cora
- RuntimeError: Unexpected error. Invalid file, DB file can not match file
原因分析:
MindSopore在windows下支持不完善,在MindSpore 1.4.0及之前版本,在Windows环境下生成MindRecord格式数据集文件,并且已经移动位置后,是不能被加载到MindSpore中使用的。但是新版本中已经解决了这个bug
解决办法:
- Windows环境下生成的MindRecord格式文件不要移动位置。
- 将MindSpore升级到1.5.0以及之后版本,重新生成MindRecord格式数据集。
其他错误相关帖: