u012767526的专栏

Gradient Descent与Backward Propagation梯度下降-Gradient Descent求梯度的方法根据梯度的定义:Numerical Method利用求导的常用公式根据梯度的定义求梯度f′（x）=limΔx→0f(x+Δx)−f(x)Δxf'（x）=\lim_{\Delta x\to 0}\dfrac{f(x+\Delta x)-f(x)}{\Delta x}

Weights Update 与 DropoutWeights Update 与 Dropout参数更新Weights Update学习率是怎么来的随机梯度下降-Stochastic Gradient DescentBatch与SGD的合体Mini-Batch Gradient Descent再给力点Momentum来了考虑得再多一些-Nesterov Momentum Update平