线性模型
1.1概念
将构建的模型函数输入的特征 x 乘上一个权重,再加上一个偏置就得到预测的结果,这样的模型称为线性模型(linear model)
- 定义: 线性模型是一种预测目标变量为输入特征的线性组合的模型。
- 形式: f(x)=wTx+bf(x)=wTx+b,其中 w代表权重向量,x 是特征向量,b是偏置项。
1.2线性回归
最基本的线性模型是简单线性回归,它只涉及一个自变量和一个因变量。但实际应用中更常用的是多元线性回归,它涉及多个自变量。
- 原理: 通过最小化预测值与真实值之间的平方误差来估计模型参数。
- 损失函数: 常用的损失函数是均方误差(MSE),即
- 优化方法: 可以使用梯度下降法(Gradient Descent)来求解最优参数。
1.3逻辑回归
- 原理: 用于解决二分类问题,通过Sigmoid函数将线性模型的输出映射到[0,1]之间,解释为属于某一类的概率。
- 损失函数: 使用交叉熵损失(Cross-Entropy Loss)作为优化目标。
- 决策边界: 当输出大于某个阈值(通常是0.5)时,预测为正类。
1.4线性模型的优缺点
- 优点: 计算效率高,易于理解和实现,可解释性强。
- 缺点: 对于非线性问题表现不佳,无法捕捉数据中的复杂模式
2.分阶段性曲线
(线性模型有很大的限制,这一种来自于模型的限制称为模型的偏差,无法模拟真实的情况,所以需要写一个更复杂的、更有灵活性的、有未知参数的函数——即分阶段性曲线)
分段线性曲线(piecewise linear curve)可以看作是一个常数,再加上一堆蓝色的函数。分段线性曲线可以用常数项加一大堆的蓝色函数组合出来,只是用的蓝色函数不一定一样。要有很多不同的蓝色函数,加上一个常数以后就可以组出这些分段线性曲线。如果分段线性曲线越复杂,转折的点越多,所需的蓝色函数就越多。
2.1 基本概念
它指的是由一系列线段组成的曲线,每个线段连接两个相邻的控制点。这种曲线在不同的子区间上由不同的一次函数(即线性段)组成,但在各个连接点处,曲线的值是连续的。
- 分区: 数据集被分成若干个连续的子区间。
- 线性段: 每个子区间上都有一个独立的线性模型,模型参数(如斜率和截距)在不同区间可以不同。
- 连接点: 区间的边界点,称为结点或断点,这些点处的线性模型可能会有不同的斜率。
(过拟合是指一个机器学习模型在训练数据上表现得很好,但在测试数据上表现不佳的现象。)
2.2优势与局限
- 优势: 能够更好地拟合具有阶段性特征的数据,从而提高模型的灵活性和精度。
- 局限: 需要更多的时间和资源来选择合适的断点,而且过度分段可能会导致出现过拟合的情况。
3.机器学习框架
框架结构
总结
线性模型是基于线性关系(即一次函数关系)对数据进行建模和预测的方法。在这些模型中,目标变量(也称为因变量或响应变量)被假定为一个或多个自变量(也称为特征、解释变量或预测变量)的线性组合,加上一个误差项。这种关系可以表示为一个方程,其中每个自变量前的系数表示该自变量对因变量的影响程度,而误差项则捕捉了模型中未包含的因素或随机变异。
线性模型的核心特点在于其简单性和可解释性。它们不仅易于理解和实现,而且能够清晰地展示自变量和因变量之间的关系。通过线性模型的系数,可以直接了解每个自变量对因变量的影响方向和程度,这对于理解和解释数据背后的机制非常有帮助。根据自变量的数量,线性模型可以分为简单线性回归和多元线性回归。简单线性回归仅涉及一个自变量和一个因变量,其模型形式为一个直线方程。而多元线性回归则涉及多个自变量和一个因变量,其模型形式为一个超平面方程。在多元线性回归中,我们可以通过矩阵运算和最小二乘法等方法来求解模型的系数,并评估模型的拟合效果。