数学基础-回归分析

一、什么是回归分析

回归分析是一种预测性的建模技术，它研究的是因变量和自变量之间的关系，在已知自变量的情况下，可以预测因变量的取值。回归技术主要分为线性回归和非线性回归，针对目标函数和求解算法又出现的其他类型的回归。

二、回归技术的分类

1、线性回归（LR）

（1）基本线性回归
基本线性回归使用直线建立因变量一个或多个自变量之间的关系
$$Y=aX+b$$
基本线性回归是一种多自变量，单因变量的模型，适用于自变量与因变量是线性关系的场景，线性回归的缺点是对异常值非常敏感，自变量存在共线性、自相关性。
广义线性模型如下式所示，其中g（.）称为联系函数。ln（y）=aX+b为i对数线性回归，逻辑回归如下所述（逻辑回归也称对数几率回归）
$$Y=g^{-1}(aX+b)$$
详细了解七种常见的回归分析

（2）偏最小二乘（PLS）
偏最小二乘回归是一种多自变量多因变量的回归建模方法，偏最小二乘回归=多元线性回归分析+典型相关分析+主成分分析，详细了解偏最小二乘法

2、非线性回归

（1）逻辑回归
当因变量的类型属于二值变量时，我们就应该使用逻辑回归。
$$P(Y=1|X)=\frac{e^{wx}}{1+e^{wx}}$$
$$P(Y=0|X)=\frac{1}{1+e^{wx}}$$
（2）多项式回归
多项式回归分为一元多项式回归和多元多项式回归，如果自变量的指数大于1，那么它就是多项式回归方程。
$$Y=a{}_0+a{}_1{x}^1+a{}_2{x}^2+...+a{}_n{x}^n$$
（3）双曲线模型
$$Y=a+b\frac{1}{X}$$
（4）幂函数模型
$$Y=ax{{}_1}^{b{}_1}x{{}_2}^{b{}_2}...x{{}_n}^{b{}_n}$$
（5）指数函数模型
$$Y=a{e}^{bx}$$
（6）对数函数模型
$$Y=a+b\ast lnx$$
（3）、（4）、（5）、（6）可以通过线性化的方法转化为线性表达式求解参数。获得参数后再进行反变换，详细变换方法参考常见的非线性回归模型
3、其他

（1）基于自变量选择
逐步回归（stepwise），当包含多个自变量时，自变量的选择是在一个自动的过程中完成的。这种建模技术的目的是使用最少的预测变量数来最大化预测能力。
（2）基于损失函数
回归分析的损失函数是平方损失函数，损失函数罚项是一范数时为套索回归（Lasso Regression），损失函数罚项是二范数的平方时为岭回归（Ridge Regression），损失函数罚项是一范数和二范数的平方时是（ElasticNet）

写博客的目的是学习的总结和知识的共享，如有侵权，请与我联系，我将尽快处理