最近在做模式识别课程的作业(只用numpy搭建一个全连接神经网络来训练mnist),遇到一个神奇的问题让我debug了好久。鉴于我还是个python小白,在此记录一下。
1. 问题概述
问题是由优化器中的这两行代码引起的:
param = param - lr * grad
param -= lr * grad
- 使用
a = a - b
的形式更新权值的时候发现网络的参数没有更新 - 使用
a -= b
的形式却可以更新
查了一下,原因是:
- 对于可变对象类型作为参数传递给函数的时候实际上是引用传递
- 对于可变对象类型:
a = a - b
的赋值操作会产生一个新的对象赋给 a ,此时 a 的内存地址是会发生变化的a -= b
的赋值操作不会更改 a 的内存地址
- 对于不可变对象类型:
- 两种操作都会改变原有的地址
而param
是np.array
类型的,是可变对象,因此地址会改变
举个例子:
class A:
def __init__(self,a,b):
self.a = a
self.b = b
def print_something(self):
print('a in class A = ', self.a)
print('b in class A = ', self.b)
def function(a,b):
a += 1
b = b + 1
if __name__ == '__main__':
a = np.array([1,2])
b = np.array([1,2])
X = A(a,b)
function(a,b)
X.print_something()
打印的结果:
a in class A = [2 3]
b in class A = [1 2]
在调用__init__
的时候,a
和b
分别把它们自己的地址传给了self.a
和self.b
,在调用function(a,b)
的时候a
的新值仍然存放在自己的旧地址中,而b
的新值存放在了新的地址中,而self.a
和self.b
仍然指向旧地址,因此就导致了self.a
更新了而self.b
没有更新。
2. 结论
- 对于可变对象类型作为参数传递给函数的时候实际上是引用传递
- 对于可变对象类型:
a = a - b
的赋值操作会产生一个新的对象赋给 a ,此时 a 的内存地址是会发生变化的a -= b
的赋值操作不