目前实现了类似MoCo的memory bank的结构,使用Parameter构造,在模型运行过程中需要更新,代码如下
keys = ops.stop_gradient(keys)
labels = ops.stop_gradient(labels)
flag = ops.stop_gradient(flag)
batch_size = keys.shape[0]
ptr = int(self.ptr)
self.queue[ptr:ptr + batch_size, :] = keys
self.queue_l[ptr:ptr + batch_size] = labels
ptr = (ptr + batch_size) % self.K
self.ptr[0] = ptr
Parameter定义方式如下
self.queue = Parameter(Tensor(randn(self.K, s), mstype.float32))
self.queue = Parameter(normalize(self.queue), "queue", False, False, False)
self.queue_l = Parameter(Tensor(randint(0, 2, (self.K, l)), mstype.float32), "queue_l", False, False, False)
self.ptr = Parameter(zeros(1, mstype.int64), "ptr", False, False, False)
在PYNATIVE模式下正常运行,在GRAPH模式下运行报错 ptr:ptr + bach_size invalid syntax
如何修改以运行在GRAPH模式下
****************************************************解答*****************************************************
本地试了一下,ptr = int(self.ptr)会报错,constrcut里不支持对Parameter(非常量Tensor)类型转换。