Numpy实现优化器

def update(self, w, grad_wrt_w):

If not initialized

if self.G is None:

self.G = np.zeros(np.shape(w))

Add the square of the gradient of the loss function at w

self.G += np.power(grad_wrt_w, 2)

Adaptive gradient with higher learning rate for sparse data

return w - self.learning_rate * grad_wrt_w / np.sqrt(self.G + self.eps)

class Adadelta():

def init(self, rho=0.95, eps=1e-6):

self.E_w_updt = None # Running average of squared parameter updates

self.E_grad = None # Running average of the squared gradient of w

self.w_updt = None # Parameter update

self.eps = eps

self.rho = rho

def update(self, w, grad_wrt_w):

If not initialized

if self.w_updt is None:

self.w_updt = np.zeros(np.shape(w))

self.E_w_updt = np.zeros(np.shape(w))

self.E_grad = np.zeros(np.shape(grad_wrt_w))

Update average of gradients at w

self.E_grad = self.rho * self.E_grad + (1 - self.rho) * np.power(grad_wrt_w, 2)

RMS_delta_w = np.sqrt(self.E_w_updt + self.eps)

RMS_grad = np.sqrt(self.E_grad + self.eps)

Adaptive learning rate

adaptive_lr = RMS_delta_w / RMS_grad

Calculate the update

self.w_updt = adaptive_lr * grad_wrt_w

Update the running average of w updates

self.E_w_updt = self.rho * self.E_w_updt + (1 - self.rho) * np.power(self.w_updt, 2)

return w - self.w_updt

class RMSprop():

def init(self, learning_rate=0.01, rho=0.9):

self.learning_rate = learning_rate

self.Eg = None # Running average of the square gradients at w

self.eps = 1e-8

self.rho = rho

def update(self, w, grad_wrt_w):

If not initialized

if self.Eg is None:

self.Eg = np.zeros(np.shape(grad_wrt_w))

self.Eg = self.rho * self.Eg + (1 - self.rho) * np.power(grad_wrt_w, 2)

Divide the learning rate for a weight by a running average of the magnitudes of recent

gradients for that weight

return w - self.learning_rate * grad_wrt_w / np.sqrt(self.Eg + self.eps)

class Adam():

def init(self, learning_rate=0.001, b1=0.9, b2=0.999):

self.learning_rate = learning_rate

self.eps = 1e-8

self.m = None

self.v = None

Decay rates

self.b1 = b1

self.b2 = b2

def update(self, w, grad_wrt_w):

If not initialized

if self.m is None:

self.m = np.zeros(np.shape(grad_wrt_w))

self.v = np.zeros(np.shape(grad_wrt_w))

self.m = self.b1 * self.m + (1 - self.b1) * grad_wrt_w

self.v = self.b2 * self.v + (1 - self.b2) * np.power(grad_wrt_w, 2)

m_hat = self.m / (1 - self.b1)

v_hat = self.v / (1 - self.b2)

self.w_updt = self.learning_rate * m_hat / (np.sqrt(v_hat) + self.eps)

return w - self.w_updt

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）

g)

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上前端开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以扫码获取！！！（备注：Python）