out of cuda memory

   with open("node_features.txt", "w") as feature_file:
        all_node_feats = []
        for subgraph in zip(subgraphs[0], subgraphs[1], subgraphs[2], subgraphs[3]):
            source_pos_inputs = model.get_input_has_temporal_neighbors(args, subgraph[0], edge_feats)
            target_pos_inputs = model.get_input_has_temporal_neighbors(args, subgraph[1], edge_feats)
            source_neg_inputs = model.get_input_has_temporal_neighbors(args, subgraph[2], edge_feats)
            target_neg_inputs = model.get_input_has_temporal_neighbors(args, subgraph[3], edge_feats)
            inputs = [source_pos_inputs[0], target_pos_inputs[0], source_neg_inputs[0], target_neg_inputs[0]]
            has_temporal_neighbors = [source_pos_inputs[1], target_pos_inputs[1],
                                      source_neg_inputs[1], target_neg_inputs[1]]
            src_pos_x, dst_pos_x, src_neg_x, dst_neg_x = model.get_root_node_emb(inputs, has_temporal_neighbors, has_temporal_neighbors, node_feats)
            src_pos_x,

今天本想把这个特征存成一个pt文件。但是包内存不够用了,后来发现居然是我这边的每个变量的require_grad都设置成了True。这样应该会导致这些变量都在计算图上面。这个计算图变大后内存肯定就爆满了。以后在处理数据这一块要记住,就是遇到内存不够了先去看看这个数据是不是Tensor类型的,若是Tensor类型的很有可能require_grad都设置成了True。处理数据应该用numpy这种的。

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值