线性模型是机器学习中最为基础的模型,很多复杂模型均可认为由线性模型衍生而得,无论是曾经红极一时的支持向量机还是如今万众瞩目的神经网络,其中都有线性模型的影子。
3.1 基本形式
线性模型其实是一种建立输入变量和输出变量之间线性关系的方法。假设我们有一组输入数据,我们想要通过线性模型来预测或拟合相应的输出值(目标)。
在最简单的情况下,线性模型的一般公式可以表示为:
3.2 线性回归
线性回归是一种基本的回归分析方法,用于建立输入变量和输出变量之间的线性关系。它是统计学和机器学习中最简单、最常用的预测模型之一。
给定一个包含输入特征和对应的输出变量的数据集。
一元线性回归 即只有一个输入特征
多元线性回归 即存在多个输入特征
我们如何确定和呢?——均方误差(“欧氏距离”)
基于均方误差最小化来进行模型求解的方法称为最小二乘法(找到一条直线使所有样本点到直线上欧氏距离之和最小)。