概率观点看最小二乘

于 2019-04-13 17:04:11 发布
阅读量268 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xieshangxin/article/details/89285014
版权
本文从概率角度探讨数据拟合中的最小二乘法，指出误差源于数据的随机性，噪声假设服从高斯分布。通过最大似然估计，推导出最小二乘法的优化过程，揭示最小二乘法内在的统计假设。
摘要由CSDN通过智能技术生成

对于数据拟合而言，误差来源于数据的随机性，也就是说，我们的训练数据是带有噪声的，现在假设，噪声服从高斯分布\varepsilon \sim N(0,\sigma ^{2}), 所以有Y= W^{T}X + \epsilon   令f(X)=W^{T}X   所以条件概率   Y|X,W \sim N(W^{T}X,\sigma ^{2})))。  假设样本数独立同分布的，使用最大似然估计MLE,  L(w) = logp(Y|X,W), 将各个样本带入，并展开，消去一些与W优化无关的项，便可以得到 

最低0.47元/天 解锁文章
xieshangxin
关注
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xieshangxin

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值