qq_24558035的博客

原创 理解梯度下降

梯度下降 sigmod 函数： σ=11+e−x \sigma = \tfrac{1}{1+e^{-x}} σ=1+e−x1​ sigmod 的导数为： σ′=σ(x)(1−σ(x))\sigma^{'} = \sigma(x)(1-\sigma(x)) σ′=σ(x)(1−σ(x)) 推导该公式： σ′=∂∂x11+e−x=e−x(1+e−x)−2=11+e−x⋅e−x1+e−x=σ(x)(1...