Adam是一种常用的梯度下降优化算法,它结合了动量法和RMSProp算法的优点,并且具有自适应学习率的优点。
以下是Adam算法的一个简单实现:
def Adam(parameters, learning_rate, beta1, beta2, epsilon):
t = 0
m = []
v = []
for p in parameters:
t += 1
m.append(np.zeros_like(p))
v.append(np.zeros_like(p))
while True:
t += 1
gradients = compute_gradients(parameters) # 计算梯度
for i, p in enumerate(parameters):
m[i] = beta1 *