机器学习回归模型

最新推荐文章于 2024-07-25 00:08:05 发布

~許諾~

最新推荐文章于 2024-07-25 00:08:05 发布

阅读量226

点赞数

文章标签：回归数据挖掘人工智能

本文链接：https://blog.csdn.net/qq_52143907/article/details/133551242

版权

线性回归模型的参数求解及其基本假设

线性回归模型是一种常用的预测模型，用于建立自变量和因变量之间的线性关系。

线性回归模型的参数求解过程是通过最小化损失函数来找到最佳的参数估计值。最常用的方法是最小二乘法，它的目标是使预测值与真实值之间的残差平方和最小化。通过对损失函数求导，并令导数为零，可以得到参数的闭合解。当数据满足线性关系且误差项服从正态分布时，最小二乘法得到的参数估计是最优的。

线性回归模型的基本假设包括以下几个方面：

线性关系：线性回归模型假设自变量和因变量之间存在线性关系，即因变量可以通过自变量的线性组合来表示。
误差项的独立性：线性回归模型假设误差项之间是独立的，即每个观测值的误差与其他观测值的误差无关。
误差项的均值为零：线性回归模型假设误差项的期望为零，即在所有自变量取值下，预测值的平均偏差为零。
误差项的方差恒定：线性回归模型假设误差项的方差在所有自变量取值下是恒定的，即误差的方差不随自变量的变化而变化。

逻辑回归

逻辑回归（Logistic Regression）是一种常用的分类算法，它是基于逻辑函数的一种广义线性模型（Generalized Linear Model）。逻辑回归的核心是Logistic函数，也称为Sigmoid函数，是一种Sigmoid型函数。Sigmoid函数（Logistic函数）是一个连续的、可导的函数，其数学表达式为：

$\sigma(x) = \frac{1}{1 + e^{-x}}$

其中，x是输入值，e是自然对数的底数，Sigmoid函数的值域在0到1之间。Sigmoid函数将输入值映射到0到1之间，可以用来表示概率。

在逻辑回归中，Sigmoid函数作为激活函数，用于将神经元的输出转换为概率。逻辑回归的目标是将数据分类到两个类别中的一个，因此模型的输出值必须在0到1之间。Sigmoid函数将神经元的输出转换为概率，使得逻辑回归能够输出分类为正例的概率。

类似的Sigmoid型函数还有Tanh函数（双曲正切函数），其数学表达式为：

$\tanh(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$

线性判别分析LDA

线性判别分析（Linear Discriminant Analysis，LDA）是一种常用的监督学习算法，主要用于分类问题。它的基本原理是基于散度矩阵（scatter matrix）的概念，通过计算不同类别的散度矩阵来寻找最佳的投影方向，使得不同类别的数据在投影后的散度最小。

在LDA中，我们假设数据服从高斯分布，即每个特征的分布都是高斯分布。对于一个给定的数据集，我们可以计算出每个类别的均值向量和散度矩阵。散度矩阵可以衡量数据在某个特征上的离散程度，也可以用于描述数据在该特征上的分布情况（协方差矩阵描述了数据的二阶统计特性）。

首先，我们定义类内散度矩阵Sw和类间散度矩阵Sb。Sw用于描述同一类别的数据在某个特征上的离散程度，而Sb用于描述不同类别之间的离散程度。Sw和Sb的定义如下：

$Sw = \sum_{i=1}^{c} (\mathbf{x}_i - \boldsymbol{\mu}_i)(\mathbf{x}_i - \boldsymbol{\mu}_i)^T$