【数据集划分】误用shuffle，导致训练集和测试集掺混

最新推荐文章于 2023-11-20 11:43:12 发布

帅兄心安否

最新推荐文章于 2023-11-20 11:43:12 发布

阅读量1.9k

点赞数 1

分类专栏：数据集划分文章标签： tensorflow python 深度学习

本文链接：https://blog.csdn.net/weixin_44560088/article/details/109479232

版权

本文探讨了在使用tensorflow时，由于错误地在训练集和测试集划分过程中两次调用shuffle，导致数据掺混的问题。作者通过代码示例解释了问题的根源在于`tf.Dataset.shuffle`的`reshuffle_each_iteration`参数默认为True，每次迭代都会重新洗牌。解决方案是设置`reshuffle_each_iteration=False`，并在划分前单独对训练集执行shuffle操作。

摘要由CSDN通过智能技术生成

问题阐述：

由于本人训练的模型在训练集和测试集上都抛出了100%的精度，不由对数据集划分的操作产生了。

回溯：

由于一些不便的原因，本人所用到的数据集都是对加载到缓存中的数据切边变形得到的。所以本人思路是对生成的数据集dataset打乱一次，然后再按比例划分训练集和测试集。
下面本人的错误程序

dataset=tf.data.Dataset.from_tensor_slices((features, labels))
#打乱总数据集
dataset = dataset.shuffle(buffer_size=len(features))

#75%的数据用作训练集
dataset_train=dataset.take