u012767526的专栏

Gradient Descent与Backward Propagation梯度下降-Gradient Descent求梯度的方法 根据梯度的定义:Numerical Method 利用求导的常用公式 根据梯度的定义求梯度f′（x）=limΔx→0f(x+Δx)−f(x)Δxf'（x）=\lim_{\Delta x\to 0}\dfrac{f(x+\Delta x)-f(x)}{\Delta x}

Weights Update 与 DropoutWeights Update 与 Dropout 参数更新Weights Update 学习率是怎么来的 随机梯度下降-Stochastic Gradient Descent Batch与SGD的合体Mini-Batch Gradient Descent 再给力点Momentum来了 考虑得再多一些-Nesterov Momentum Update 平