虽然SGD很容易实现,到是在解决某些问题时,可能没有效率
例如:
# coding: utf-8
class SGD:
def __init__(self, learning_rate=0.01):
self.learning_rate = learning_rate
def update(self, params, grads):
for key in params.keys():
params[key] -= self.learning_rate * grads[key]
"""在应用中,optimizer = SGD()
optimizer.update(params, grads)
深度学习的很多框架中都实现了各种优化算法,并且提供了可以简单切换这些方法的构造,直接调用即可"""