ReynardLin的博客

原创 关于模型建立过程中参数问题

在这里小结了模型定义过程中，参数的确定方法。其中直接的方法并不适用于一个普通torch张量的定义，但是适合适用nn里面的函数。并且第二种方法在任何过程中均没用，可以算是一个错误的用法。而当我们需要一个不被更新的参数，除了require_grad=False之外，在定义的过程中，我们可以适用self.register_buffer来实现。例如MoCo之中的队列和MemoryBank。