TypeError:to () got an unexpected keyword argument ‘non_blocking‘

最新推荐文章于 2024-07-08 23:44:33 发布

memory*

最新推荐文章于 2024-07-08 23:44:33 发布

阅读量690

点赞数 3

文章标签： python

本文链接：https://blog.csdn.net/qq_44988155/article/details/138965226

版权

报错如上图,通过debug定位到错误代码,报错出现在将标签数据转换并填充到相同长度的代码中,错误代码如下:

        def to_list(tensor_or_iterable):
            if isinstance(tensor_or_iterable, torch.Tensor):
                return tensor_or_iterable.tolist()
            return list(tensor_or_iterable)

        batch[label_name] = [to_list(label) + [self.label_pad_token_id] * (sequence_length - len(label)) for label in labels] #non_blocking
        # batch[label_name] = [to_list(label) + [0] * (sequence_length - len(label)) for label in labels]
        return batch

本意是使用 to_list(label) + [self.label_pad_token_id] * (sequence_length - len(label)) 来处理每个标签。这里 to_list(label) 将标签转换为列表，如果标签长度小于 sequence_length，则使用 [self.label_pad_token_id] 来填充剩余的部分，确保所有标签长度一致。

修改后的代码如下:

        def to_list(tensor_or_iterable):
            if isinstance(tensor_or_iterable, torch.Tensor):
                return tensor_or_iterable.tolist()
            return list(tensor_or_iterable)

        # batch[label_name] = [to_list(label) + [self.label_pad_token_id] * (sequence_length - len(label)) for label in labels] #non_blocking
        # batch[label_name] = [to_list(label) + [0] * (sequence_length - len(label)) for label in labels]
        batch[label_name] = torch.tensor(batch[label_name], dtype=torch.int64)
        return batch

这行代码将最终的标签列表转换回一个整型 (int64) 的 PyTorch 张量,解决了non_blocking的问题