机器学习--线性回归

最新推荐文章于 2024-09-20 15:35:45 发布

weixin_33882452

最新推荐文章于 2024-09-20 15:35:45 发布

阅读量59

点赞数

文章标签：数据结构与算法人工智能

原文链接：http://www.cnblogs.com/luomgf/p/7260953.html

版权

基本概念

概率分布函数

高斯分布

最小二乘法

他们之间的关系

通常我们拿到一组数据后会观察他如果服从线性回归的时候，我们就可以用线性模型对他进行求解（在这个之前我们有可能会需要判断一下他们之间是否有线性相关性，
这个时候我们的数据家拿出来一个相关系数对他进行判断），这个模型通常是y=kx+b+e，如果我们根据最小二乘法就会直接得到所有预测值和真实值之间的差值平凡和最小
的时候就是这个线性模型的最优的解，那么为什么会有这么个结论呢，根据目前我掌握的知识看，据说最开始发明最小二乘法的人没有找到这个理论依据，这个是后来我们的
高斯同志给他建立了理论指导，就是假设所有的误差项都是均值为0，方差为σ^2的时候，其概率密度函数，经过代入后，我们对所有的概率密度进行累乘，在求对数，就得到目标函数求其最大值，再通过求导的方式找到极值点，进行变量的
求解。