36.高阶回归与分类变量

最新推荐文章于 2023-03-28 16:46:19 发布
最新推荐文章于 2023-03-28 16:46:19 发布
阅读量1k 收藏 2
点赞数
分类专栏： 概率论与数理统计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xzy53719/article/details/82782516
版权

目录

高阶回归

分类变量

高阶回归

# Y=5 + 2X + 3X^2
import numpy as np
import statsmodels.api as sm
import matplotlib.pyplot as plt
nsample = 50 # 样本数量
#linspace,返回间隔均匀的样本
x = np.linspace(0,10,nsample)
#column_stack，将一维数组转换为二维数组。
X = np.column_stack((x,x**2))
X = sm.add_constant(X)
X
array([[1.00000000e+00, 0.00000000e+00, 0.00000000e+00],
       [1.00000000e+00, 2.04081633e-01, 4.16493128e-02],
       [1.00000000e+00, 4.08163265e-01, 1.66597251e-01],
       [1.00000000e+00, 6.12244898e-01, 3.74843815e-01],
       [1.00000000e+00, 8.16326531e-01, 6.66389005e-01],
       [1.00000000e+00, 1.02040816e+00, 1.04123282e+00],
       [1.00000000e+00, 1.22448980e+00, 1.49937526e+00],
       [1.00000000e+00, 1.42857143e+00, 2.04081633e+00],
       [1.00000000e+00, 1.63265306e+00, 2.66555602e+00],
       [1.00000000e+00, 1.83673469e+00, 3.37359434e+00],
       [1.00000000e+00, 2.04081633e+00, 4.16493128e+00],
       [1.00000000e+00, 2.24489796e+00, 5.03956685e+00],
       [1.00000000e+00, 2.44897959e+00, 5.99750104e+00],
       [1.00000000e+00, 2.65306122e+00, 7.03873386e+00],
       [1.00000000e+00, 2.85714286e+00, 8.16326531e+00],
       [1.00000000e+00, 3.06122449e+00, 9.37109538e+00],
       [1.00000000e+00, 3.26530612e+00, 1.06622241e+01],
       [1.00000000e+00, 3.46938776e+00, 1.20366514e+01],
       [1.00000000e+00, 3.67346939e+00, 1.34943773e+01],
       [1.00000000e+00, 3.87755102e+00, 1.50354019e+01],
       [1.00000000e+00, 4.08163265e+00, 1.66597251e+01],
       [1.00000000e+00, 4.28571429e+00, 1.83673469e+01],
       [1.00000000e+00, 4.48979592e+00, 2.01582674e+01],
       [1.00000000e+00, 4.69387755e+00, 2.20324865e+01],
       [1.00000000e+00, 4.89795918e+00, 2.39900042e+01],
       [1.00000000e+00, 5.10204082e+00, 2.60308205e+01],
       [1.00000000e+00, 5.30612245e+00, 2.81549354e+01],
       [1.00000000e+00, 5.51020408e+00, 3.03623490e+01],
       [1.00000000e+00, 5.71428571e+00, 3.26530612e+01],
       [1.00000000e+00, 5.91836735e+00, 3.50270721e+01],
       [1.00000000e+00, 6.12244898e+00, 3.74843815e+01],
       [1.00000000e+00, 6.32653061e+00, 4.00249896e+01],
       [1.00000000e+00, 6.53061224e+00, 4.26488963e+01],
       [1.00000000e+00, 6.73469388e+00, 4.53561016e+01],
       [1.00000000e+00, 6.93877551e+00, 4.81466056e+01],
       [1.00000000e+00, 7.14285714e+00, 5.10204082e+01],
       [1.00000000e+00, 7.34693878e+00, 5.39775094e+01],
       [1.00000000e+00, 7.55102041e+00, 5.70179092e+01],
       [1.00000000e+00, 7.75510204e+00, 6.01416077e+01],
       [1.00000000e+00, 7.95918367e+00, 6.33486047e+01],
       [1.00000000e+00, 8.16326531e+00, 6.66389005e+01],
       [1.00000000e+00, 8.36734694e+00, 7.00124948e+01],
       [1.00000000e+00, 8.57142857e+00, 7.34693878e+01],
       [1.00000000e+00, 8.77551020e+00, 7.70095793e+01],
       [1.00000000e+00, 8.97959184e+00, 8.06330696e+01],
       [1.00000000e+00, 9.18367347e+00, 8.43398584e+01],
       [1.00000000e+00, 9.38775510e+00, 8.81299459e+01],
       [1.00000000e+00, 9.59183673e+00, 9.20033319e+01],
       [1.00000000e+00, 9.79591837e+00, 9.59600167e+01],
       [1.00000000e+00, 1.00000000e+01, 1.00000000e+02]])
bate = np.array([5,2,3])
e = np.random.normal(size=nsample)
y = np.dot(X,bate)+e

#最小二乘法，计算回归系数
model = sm.OLS(y,X)
result = model.fit()
result.params
array([4.91388904, 1.89789012, 3.01647615])
result.summary()
OLS Regression Results
Dep. Variable:yR-squared:1.000
Model:OLSAdj. R-squared:1.000
Method:Least SquaresF-statistic:2.449e+05
Date:Wed, 19 Sep 2018Prob (F-statistic):3.80e-95
Time:16:48:00Log-Likelihood:-68.540
No. Observations:50AIC:143.1
Df Residuals:47BIC:148.8
Df Model:2  
Covariance Type:nonrobust  
 coefstd errtP>|t|[0.0250.975]
const4.91390.40112.2570.0004.1075.720
x11.89790.18510.2360.0001.5252.271
x23.01650.018168.2400.0002.9803.053
Omnibus:0.197Durbin-Watson:2.100
Prob(Omnibus):0.906Jarque-Bera (JB):0.003
Skew:0.019Prob(JB):0.998
Kurtosis:3.011Cond. No.142.


Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.

#拟合估计值
y_fitted = result.fittedvalues
#绘图
fig,ax = plt.subplots(figsize=(8,6))
ax.plot(x,y,'o',label='data')
ax.plot(x,y_fitted,'r--',label='OLS')
ax.legend(loc='best')
plt.show()

分类变量

#假设分类变量有3个取值（a,b,c）,创建哑变量，比如考试成绩有3个等级a（1,0,0）b(0,1,0)c(0,0,1)，这个时候需要3个系数β0，β1，β2，也就是要β0 * 0 + β1 * 1 + β2*2
#此方法为创建哑变量，有多少个取值，做多少个长度，对应值的位置为1，其余位置为0。
import numpy as np
import statsmodels.api as sm
import matplotlib.pyplot as plt
nsamples = 50
groups = np.zeros(nsamples,int)
groups[20:40] = 1 # 第二组值
groups[40:] = 2 #第三组值
print('groups:',groups)
dummy = sm.categorical(groups,drop=True)
print('dummy',dummy)
groups: [0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 2 2 2 2 2 2 2 2 2 2]
dummy [[1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [1. 0. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 1. 0.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]
 [0. 0. 1.]]
# Y = 5 + 2X + 3Z1 + 6Z2 + 9Z3 + e
x = np.linspace(0,10,nsamples)
X = np.column_stack((x,dummy))
print(X)
X = sm.add_constant(X)
bata = [5,2,3,6,9]
e = np.random.normal(size=nsamples)
y = np.dot(X,bata) + e
[[ 0.          1.          0.          0.        ]
 [ 0.20408163  1.          0.          0.        ]
 [ 0.40816327  1.          0.          0.        ]
 [ 0.6122449   1.          0.          0.        ]
 [ 0.81632653  1.          0.          0.        ]
 [ 1.02040816  1.          0.          0.        ]
 [ 1.2244898   1.          0.          0.        ]
 [ 1.42857143  1.          0.          0.        ]
 [ 1.63265306  1.          0.          0.        ]
 [ 1.83673469  1.          0.          0.        ]
 [ 2.04081633  1.          0.          0.        ]
 [ 2.24489796  1.          0.          0.        ]
 [ 2.44897959  1.          0.          0.        ]
 [ 2.65306122  1.          0.          0.        ]
 [ 2.85714286  1.          0.          0.        ]
 [ 3.06122449  1.          0.          0.        ]
 [ 3.26530612  1.          0.          0.        ]
 [ 3.46938776  1.          0.          0.        ]
 [ 3.67346939  1.          0.          0.        ]
 [ 3.87755102  1.          0.          0.        ]
 [ 4.08163265  0.          1.          0.        ]
 [ 4.28571429  0.          1.          0.        ]
 [ 4.48979592  0.          1.          0.        ]
 [ 4.69387755  0.          1.          0.        ]
 [ 4.89795918  0.          1.          0.        ]
 [ 5.10204082  0.          1.          0.        ]
 [ 5.30612245  0.          1.          0.        ]
 [ 5.51020408  0.          1.          0.        ]
 [ 5.71428571  0.          1.          0.        ]
 [ 5.91836735  0.          1.          0.        ]
 [ 6.12244898  0.          1.          0.        ]
 [ 6.32653061  0.          1.          0.        ]
 [ 6.53061224  0.          1.          0.        ]
 [ 6.73469388  0.          1.          0.        ]
 [ 6.93877551  0.          1.          0.        ]
 [ 7.14285714  0.          1.          0.        ]
 [ 7.34693878  0.          1.          0.        ]
 [ 7.55102041  0.          1.          0.        ]
 [ 7.75510204  0.          1.          0.        ]
 [ 7.95918367  0.          1.          0.        ]
 [ 8.16326531  0.          0.          1.        ]
 [ 8.36734694  0.          0.          1.        ]
 [ 8.57142857  0.          0.          1.        ]
 [ 8.7755102   0.          0.          1.        ]
 [ 8.97959184  0.          0.          1.        ]
 [ 9.18367347  0.          0.          1.        ]
 [ 9.3877551   0.          0.          1.        ]
 [ 9.59183673  0.          0.          1.        ]
 [ 9.79591837  0.          0.          1.        ]
 [10.          0.          0.          1.        ]]
#回归分析
res = sm.OLS(y,X).fit()
res.summary()
OLS Regression Results
Dep. Variable:yR-squared:0.981
Model:OLSAdj. R-squared:0.980
Method:Least SquaresF-statistic:789.5
Date:Thu, 20 Sep 2018Prob (F-statistic):1.50e-39
Time:10:23:05Log-Likelihood:-76.762
No. Observations:50AIC:161.5
Df Residuals:46BIC:169.2
Df Model:3  
Covariance Type:nonrobust  
 coefstd errtP>|t|[0.0250.975]
const7.63130.66411.5010.0006.2968.967
x12.17540.15314.2470.0001.8682.483
x20.25560.4210.6070.547-0.5911.103
x32.28860.3526.5080.0001.5812.997
x45.08700.7926.4210.0003.4926.682
Omnibus:3.522Durbin-Watson:2.244
Prob(Omnibus):0.172Jarque-Bera (JB):2.958
Skew:-0.596Prob(JB):0.228
Kurtosis:3.026Cond. No.1.32e+17



Warnings:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
[2] The smallest eigenvalue is 1e-31. This might indicate that there are
strong multicollinearity problems or that the design matrix is singular.

#拟合估计值
y_fitted = res.fittedvalues
#绘图
fig,ax = plt.subplots(figsize=(8,6))
ax.plot(x,y,'o',label='data')
ax.plot(x,y_fitted,'r--',label='OLS')
ax.legend(loc='best')
plt.show()

鸿腾阳阳
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分类变量回归——Probit和Logit（附代码）
Shiyang的博客
06-11 2万+
分类变量回归——Probit和Logit为什么不是普通线性回归？什么是Link函数？如何实现（statsmodels&sklearn）？statsmodels（统计学分析场景推荐）ProbitLogitMNLogit（Multinormal）sklearn（机器学习场景推荐） 为什么不是普通线性回归？ 使用普通线性回归技术，我们必须确保回归技术对于研究问题的适用性，才能相信回归结果是可靠的。识别回归技术的适用性，我们需要对回归分析进行诊断，诊断内容是线性回归最基本的六个假设是否成立，即 误差项是一
含有分类变量（categorical variable）的逻辑回归（logistic regression）中虚拟变量（哑变量，dummy variable）的理解...
热门推荐
diedie4488的博客
04-30 1万+
　　使用R语言做逻辑回归的时候，当自变量中有分类变量（大于两个）的时候，对于回归模型的结果有一点困惑，搜索相关知识发现不少人也有相同的疑问，通过查阅资料这里给出自己的理解。 　　首先看一个实例（数据下载自：http://freakonometrics.free.fr/db.txt） > db <- read.table("db.txt",header=TRUE,sep...
基于python利用statsmodels实现一元线性回归、高阶回归以及自变量为分类变量的回归（逐行代码解读，超细节）
喝饱水没烦恼的博客
05-20 3516
#导入要用的包，没有下载包的要用pip install安装对应的包 import numpy as np import matplotlib.pyplot as plt import statsmodels.api as sm nsample = 20 #定义样本量 x = np.linspace(0, 10, nsample) #生成0-10之间的20个数，作为样本 x array([ 0. , 0.52631579, 1.05263158, 1.57894737, 2.10.
最小二乘回归的高阶求解
u011016682的专栏
02-19 183
https://www.cnblogs.com/w950219/p/12198341.html
第九章 高阶分类：核方法与SVM
Zerokas的博客
04-27 313
用Bing Map服务代替Yahoo的Geocoding API Bing Map的相关网站： Bing Map 开发者中心 publice21@outlook Bing Map 的MSDN Bing Map 的MSDN 另一个文档 根据Bing Map修改后的部分代码： BingKey="AudmvxyrHM35ktbN5bLBPtVL24Yst22RTfIyRSxzr45r7aY9...
回归拟合matlab代码.zip
07-11
回归拟合是统计学和数据分析中的重要方法，用于建立因变量与一个或多个自变量之间的数学关系模型。在MATLAB中，我们可以利用其强大的矩阵运算能力和内置函数来实现各种类型的回归分析。本压缩包文件“回归拟合matlab...
MATLAB高阶谱分析信号处理工具箱(HOSA) Toolbox.rar
11-14
基于高阶谱的特征，HOSA可以用于信号分类任务，比如在噪声环境中识别特定的信号模式。 5. 实时分析： 工具箱可能还包括实时信号处理功能，使得用户能够在数据流中实时进行高阶谱分析，这对于在线监测和控制应用...
MATLAB源码集锦-多项式逻辑回归代码
02-14
如果需要更高阶的多项式，可以更改2为其他值。 **模型评估与优化** 完成模型训练后，我们需要对模型进行评估，这通常包括计算准确率、查准率、查全率、F1分数等指标。此外，还可以使用交叉验证来评估模型的泛化能力...
Python-用于回归分类的分解机
08-11
分解机的核心思想是将特征之间的高阶交互效应通过低秩矩阵分解来近似表示。它假设每个特征值可以被表示为多个隐向量的内积，这些隐向量的组合可以捕捉特征之间的复杂关系。FM模型的预测公式如下： \[ \hat{y} = w_0...
预测与决策综合复习指南.pptx
10-11
二次和三次指数平滑法则考虑了更高阶的趋势变化。 趋势外推预测中，一次和二次多项式模型用于捕捉线性和非线性趋势。龚伯兹曲线和罗吉斯缔曲线是两种特殊的趋势模型，分别适用于描述S形增长和逐步增长的情况。 ...
lecture 9：分类变量回归
weixin_40496687的博客
04-29 2961
先学习这个这个资料 分类变量回归——Probit和Logit（附代码）
双类别逻辑回归
人工智能学习生
03-20 423
双类别逻辑回归：基于成本函数和梯度下降算法的实现、基于scipy.optimize优化运算库的实现
多变量高次线性回归
weixin_43178737的博客
10-20 1469
一个因变量现在和两个自变量有关系，而且不是一次的简单关系，怎么用线性回归拟合出因变量和两个自变量的之间的关系呢？
浅谈一元高次方程的回归运算
Alexanderyy的博客
08-25 427
前言：本文主要是解决一元高次回归，多元一次在以前的文章中有介绍过。 回归运算一直是数据处理的痛难点，如果一个数据是二次函数的情况，按照线性回归，只会有一小段拟合度比较好，相关系数会很差。那么我们如何进行多元函数的回归拟合呢，我们将给出以下图 博主的数学功底不够证明这个，目前只能给出初步结论，更高次也能按照这个公式去推导，不过就不是现在的三元，a次方程就要解对应的a+1元方程组。这里面计算量很大，博主暂时没什么太好的方法解决。目前我依据克莱姆法则获得对应方程的解，有人提出了对应的A矩阵可能行列式为0，
关于回归分析分类
lxccc9的博客
08-05 3789
目的：当需要用一个数学表达式（模型）表示多个因素（原因）与另外一个因素（因素）之间关系时，可选用回归分析法。 应用：1）分析哪些自变量对因变量存在显著影响作用，R方值可以不要求大于0.8 2）通过选择对因变量存在影响的自变量，建立预测因变量取值的预测模型，模型R方值必须要求大于等于0.8 但是，在人文社科领域，很多回归模型的R方值达不到0.8，也可以用来做预测。 （回归分析属于参数检验法） 回归分析的建立步骤： 1）选择变量 自变量：第一：前人的研究成果，第二：个人经验 因变量：根据研究
学习笔记5 - 机械学习(回归)-高次多项式拟合数据以及过拟合与欠拟合状态
qq_37279306的博客
06-20 1095
机械学习入门部分，该部分是回归的内容，涉及欠拟合和过拟合状态；另外提供jupyterlab编译的基于梯度下降法计算的case，包括数据生成、数据的提取、数据的操作以及可视化展示。期间参考很多大佬的想法，若有问题，欢迎讨论和指正。
回归模型---一次函数与高次函数
weixin_46787156的博客
07-22 641
一次以及多次线性回归
机器学习——线性回归（一元、多元、高阶、交互项）R语言
最新发布
misslink的博客
03-28 1024
机器学习线性回归（一元、多元、高阶、交互项）R语言
python 分类变量回归_Python数据挖掘—回归—逻辑回归
weixin_42434656的博客
02-03 2030
概念针对因变量为分类变量而进行回归分析的一种统计方法，属于概率型非线性回归优点：算法易于实现和部署，执行效率和准确度高缺点：离散型的自变量数据需要通过生成虚拟变量的方式来使用在线性回归中，因变量是连续性变量，那么线性回归能根据因变量和自变量存在的线性关系来构造回归方程，因变量变成分类变量后就不存在这种关系了，需通过对数变换来进行处理(Sigmoid函数)步骤：1、读取数据；importpandas...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值