三种常见梯度下降优化算法总结

最近在学习《机器学习实战:基于Scikit-Learn和TensorFlow》,这里把之前的一些基础知识点进行了总结。对于一个线性函数:y^=hθ(x)=θ⋅x\hat{y}=h_{\theta}(\mathbf{x})=\boldsymbol{\theta} \cdot \mathbf{x}y^​=hθ​(x)=θ⋅x为提高函数的泛化能力,我们需要定义其损失函数,并将之尽可能降到最小。这里我们使用MSE作为损失函数。MSE⁡(X,hθ)=1m∑i=1m(θ⊤x(i)−y(i))2\operator
摘要由CSDN通过智能技术生成

最近在学习《机器学习实战:基于Scikit-Learn和TensorFlow》,这里把之前的一些基础知识点进行了总结。

对于一个线性函数:
y ^ = h θ ( x ) = θ ⋅ x \hat{y}=h_{\theta}(\mathbf{x})=\boldsymbol{\theta} \cdot \mathbf{x} y^=hθ(x)=θx
为提高函数的泛化能力,我们需要定义其损失函数,并将之尽可能降到最小。这里我们使用MSE作为损失函数。

MSE ⁡ ( X , h θ ) = 1 m ∑ i = 1 m ( θ ⊤ x ( i ) − y ( i ) ) 2 \operatorname{MSE}\left(\mathbf{X}, h_{\boldsymbol{\theta}}\right)=\frac{1}{m} \sum_{i=1}^{m}\left(\boldsymbol{\theta}^{\top} \mathbf{x}^{(i)}-y^{(i)}\right)^{2} MSE(X,hθ)=m1i=1m(θx(i)y(i))2

进一步计算可得:

θ ^ = ( X ⊤ X )

  • 3
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值