本文介绍了机器学习中的线性回归算法，包括一元线性回归和多元线性回归。一元线性回归用于只有一个特征的情况，通过最小二乘法找到最佳拟合直线。多元线性回归处理多个特征，利用正规方程求解参数。文章还展示了使用Python实现这些模型，并提到了线性回归的优缺点，如解释性强、简单易实现，但可能不适用于所有线性关系，且训练时间复杂度较高。
机器学习研究的问题分为分类问题和回归问题。分类问题很好理解，而回归问题就是找到一条曲线，可以最大程度地拟合样本特征和样本输出标记之间的关系。当给算法一个输入时，这条曲线可以计算出相应可能的输出。回归算法最简单的就是线性回归。当样本特征只有一个时，称为简单线性回归；当样本特征有多个时，称为多元线性回归。
线性回归
1.简单线性回归
由上图可知，简单线性回归只有一个特征x，一个标记y。假定x和y之间具有类似于线性的关系，就可以使用使用简单线性回归算法。假定我们找到了最佳拟合的直线方程
最佳拟合的直线方程
则对于每一个样本点x(i)，预测值如下。其中带箭头的y是预测值，称为 y head。右上角的 i 是指样本的索引。
预测值
我们希望预测值和真实值之间的差距尽量小。一般用欧氏距离来衡量。下式称为损失函数(Loss Function)
损失函数
换句话说，我们的目标就是找到一组a和b，使得下式最小
y(i)和x(i)是固定的
通过分析不同的问题，我们需要确定问题的损失函数。通过最优化损失函数，获得机器学习的模型。几乎所有的参数学习算法都是这样的套路
那么这个问题是一个典型的最小二乘法问题，即最小化误差的平方。推导可得以下公式
最小二乘法
可以用python封装成这种形式
"""
Created by 杨帮杰 on 10/1/18
Right to use this code in any way you want without
warranty, support or any guarantee of it working
E-mail: yangbangjie1998@qq.com
Association: SCAU 华南农业大学
"""
impo
最低0.47元/天 解锁文章
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
