【PyTorch】关于函数 datasets.IMDB.splits()

最新推荐文章于 2024-03-27 23:41:10 发布

Anova.YJ

最新推荐文章于 2024-03-27 23:41:10 发布

阅读量2.6k

点赞数 1

分类专栏： PyTorch

本文链接：https://blog.csdn.net/weixin_44246009/article/details/119603986

版权

PyTorch 专栏收录该内容

30 篇文章

订阅专栏

$\rm IMDB$ 是关于电影评论的数据集，其中有 $50000$ 条情感倾向明显的评论信息，其中 $25000$ 条作为训练集， $25000$ 条作为测试集。并且数据的总体分布是均衡的，即正面评价和负面评价各 $25000$ 条。
下面的代码可以将 $\rm torchtext.datasets$ 中的 $\rm IMDB$ 数据集分割成文本 $\rm TEXT$ 和标签 $\rm LABEL$ 两部分。

train,test = datasets.IMDB.splits(TEXT,LABEL)

$\rm splits()$ 方法的定义如下：

@classmethod
def splits(cls, text_field, label_field, root='.data',
			train='train', test='test', **kwargs):
	"""Create dataset objects for splits of the IMDB dataset.

	 Arguments:
		text_field: The field that will be used for the sentence.
		label_field: The field that will be used for label data.
		root: Root dataset storage directory. Default is '.data'.
		train: The directory that contains the training examples
		test: The directory that contains the test examples
		Remaining keyword arguments: Passed to the splits method of Dataset.
        """
        return super(IMDB, cls).splits(
            root=root, text_field=text_field, label_field=label_field,
            train=train, validation=None, test=test, **kwargs)

对比定义和调用方式，可以看出 $\rm TEXT,LABEL$ 是两个 $\rm Field$ 类型的对象。下载到本地的 $\rm IMDB$ 数据集组织如下所示：
下图是 $\rm PyTorch$ 官网给出的 $\rm IMDB$ 信息：

在 $\rm GitHub$ 上有这样一个问题：
我们希望训练集与测试集不是对半分的，而是以某个比值 $r$ ，例如这里的 $0.8 .$ 需要明确，通过 $\rm datasets.IMDB$ 这种方式获取到的数据集，是服务器上组织后的数据集，其 $\rm train,test$ 均已确定，即官网给出的 $\rm 25000~vs~25000$ ，如果需要改变这个划分方式，需要在本地对数据集进行修改并读取。

在下载后的 $\rm IMDB$ 压缩文件中，发现 $\rm train/unsup$ 文件夹，官方数据集对其描述如下：

We also include an additional 50,000 unlabeled documents for unsupervised learning.