1、什么叫回归分析?
变量之间的关系是现实世界中普遍存在的,一般可以分为两类:一类是确定性关系,另一类是非确定性关系,也称相关关系。确定性关系很好理解,若有变量x和y,当变量x的值确定后,y的值也随之确定,这种关系就是确定性关系。相似地,非确定性关系是指,变量x和y是有联系,但是当x的值确定时,y的值却是不确定的,比如血压和年龄,身高和体重等。通常,研究变量间相关关系的统计分析方法称为回归分析。
2、回归模型
当自变量x的值确定后,因变量Y的值还不能完全确定,我们可以把它看做随机变量。当x值确定后,随机变量Y的数学期望是随之确定的,而且是x的函数,记为μ(x),成为Y关于x的回归函数。
因此,x与Y之间的关系可以用如下模型描述:Y=μ(x)+ε,其中ε是随机误差,满足E(ε)=0。该模型只有一个自变量,因此又称一元回归分析。
如果μ(x)是x的线性函数,即μ(x)=a0+a1*x,则模型可化为:Y=a0+a1*x+ε,其中a0是常数项,a1是回归系数,该模型成为一元线性回归模型。
为了估计μ(x),首先要确定它的形式,可以通过画散点图来估计。
一元线性回归模型解决问题:
1)对a0、a1、ε(σ^2)进行点估计,获得回归方程(a0、a1采用最小二乘法进行估计)
2)对回归系数(a1)进行假设检验
3)使用模型进行预测
3、常用回归模型介绍
- 如果是连续的,就是多重线性回归;
- 如果是二项分布,就是Logistic回归;
- 如果是Poisson分布,就是Poisson回归;
- 如果是负二项分布,就是负二项回归。
Logistic回归的主要用途:
- 寻找危险因素:寻找某一疾病的危险因素等;
- 预测:根据模型,预测在不同的自变量情况下,发生某病或某种情况的概率有多大;
- 判别:实际上跟预测有些类似,也是根据模型,判断某人属于某病或属于某种情况的概率有多大,也就是看一下这个人有多大的可能性是属于某病。
3.1.2过拟合问题
过拟合问解决方法
1)减少特征数量(减少特征会失去一些信息,即使特征选的很好)
可用人工选择要保留的特征;
模型选择算法;
2)正则化(特征较多时比较有效)
保留所有特征,但减少θ的大小题往往源自过多的特征。
3.1.3 多类分类问题
对于多类分类问题,可以将其看做成二类分类问题:保留其中的一类,剩下的作为另一类。
对于每一个类 i 训练一个逻辑回归模型的分类器,并且预测y = i时的概率;对于一个新的输入变量x, 分别对每一个类进行预测,取概率最大的那个类作为分类结果: