![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 89
persist_gd
行有不得,反求诸己
展开
-
利用pytorch求复杂函数解
import numpy as np from mpl_toolkits.mplot3d import Axes3D from matplotlib import pyplot as plt import torch def himmelblau(x): return (x[0]**2 + x[1] - 11)**2 + (x[0] + x[1]**2 - 7)**2 x = np.arange(-6, 6, 0.1) y = np.arange(-6, 6, 0.1) print('x,y原创 2020-07-26 19:26:43 · 378 阅读 · 0 评论 -
深度学习的优化算法
基本框架 定义当前时刻待优化参数θt∈R\theta_t \in \mathbb Rθt∈R,损失函数为J(θ)J(\theta)J(θ),学习率为η\etaη,参数更新框架为: 1.计算损失函数关于当前参数的梯度:gt=∇J(θt)g_t= \nabla J(\theta_t)gt=∇J(θt) 2.根据历史梯度计算一阶动量和二阶动量: mt=ϕ(g1,g2,...,gt),Vt=ψ(g1,g2,...,gt) m_t=\phi(g_1,g_2,...,g_t),V_t=\psi(g_1,g_2,.原创 2020-06-26 17:08:54 · 217 阅读 · 0 评论