图解深度学习
王伟王胖胖
这个作者很懒,什么都没留下…
展开
-
图解深度学习-梯度下降学习率可视化
图解深度学习-梯度下降学习率可视化梯度下降学习率问题梯度下降学习率问题用最简单的SGD做实验,讨论学习率问题。学习率如果太小,则会下降很慢,需要很多次迭代,如果太大,就会出现发散,具体可以动手调试,也可以看截图。这里我选取的代价函数J(x)=0.5(x−1)2+0.5J(x) = 0.5 (x-1)^2 + 0.5J(x)=0.5(x−1)2+0.5,求导方便。import numpy ...原创 2019-06-05 10:26:51 · 2151 阅读 · 2 评论 -
图解深度学习-三种梯度下降法可视化(BGD,SGD,MBGD)
图解深度学习-三种梯度下降法可视化(BGD,SGD,MBGD)BGM(批量梯度下降法)SGD(随机梯度下降法)MBGD(小批量梯度下降法)总结用可视化的方式来看下三种梯度下降法。我们来拟合简单的函数 $f(x)=wx+1 $ 其中w=0.5其中w=0.5其中w=0.5import numpy as npimport matplotlib.pyplot as pltfrom ipywidg...原创 2019-06-06 09:31:15 · 3454 阅读 · 2 评论 -
图解深度学习-梯度下降法优化器可视化(SGD, Momentum,Adam, Adagrad and RMSProp)
图解深度学习-梯度下降法可视化(SGD, Momentum, Adagrad and RMSProp)前言定义了4个基本函数机器学习原理原始的梯度下降算法带动量的梯度下降算法带惯性的梯度下降算法Adagrad 自适应调整的梯度下降RMSPropAdam前言主要用了Jupyter Notebook的插件ipywidgets,可以进行交互,可以自己调整参数来看结果,用于理解来说非常好,今后也会继续...原创 2019-06-04 22:58:40 · 3076 阅读 · 0 评论