statsmodels︱python常规统计模型库

最新推荐文章于 2025-03-11 09:00:00 发布
最新推荐文章于 2025-03-11 09:00:00 发布
阅读量1.9w 收藏 282
点赞数 32
分类专栏： 机器学习︱R+python 文章标签： statsmodels python 机器学习 统计模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_26917383/article/details/104369913
版权

之前看sklearn线性模型没有R方，F检验，回归系数T检验等指标，于是看到了statsmodels这个库，看着该库输出的结果真是够怀念的。。

文章目录

1 安装

pip install statsmodels

不过有可能会报错：

ImportError: cannot import name 'factorial' from 'scipy.misc' 
(E:\Anaconda3.7\lib\site-packages\scipy\misc\__init__.py)

是跟scipy版本不匹配，笔者是删掉之前的pip uninstall statsmodels，再重新安装了一下就好了：

pip install --pre statsmodels -i https://pypi.tuna.tsinghua.edu.cn/simple

2 相关模型介绍

相关文档可见：https://www.statsmodels.org/stable/examples/index.html

在这里插入图片描述

包含的模型有：

2.1 线性模型

在这里插入图片描述

2.2 离散选择模型(Discrete Choice Model, DCM)

在这里插入图片描述

参考：离散选择模型(Discrete Choice Model, DCM)简介——之一

离散选择模型（Discrete Choice Model, DCM）在经济学领域和社会学领域都有广泛的应用。
例如，消费者在购买汽车的时候通常会比较几个不同的品牌，如福特、本田、大众，等等。
如果将消费者选择福特汽车记为Y=1，选择本田汽车记为Y=2，选择大众汽车记为Y=3；那么在研究消费者选择何种汽车品牌的时候，由于因变量不是一个连续的变量（Y=1, 2, 3），传统的线性回归模型就有一定的局限（见DCM系列文章第2篇）。
再比如，在交通安全研究领域，通常将交通事故的严重程度划分为3大类：

  • （1）仅财产损失（Property Damage Only, PDO），
  • （2）受伤（Injury），
  • （3）死亡（Fatality）；
    在研究各类因素（如道路坡度、弯道曲率等、车龄、光照、天气条件等）对事故严重程度的影响的时候，由于因变量（事故严重程度）是一个离散变量（仅3个选项），使用离散选择模型可以提供一个有效的建模途径。
    在这里插入图片描述

2.3 非参数统计

在这里插入图片描述

2.4 广义线性模型 - Generalized Linear Models

在这里插入图片描述

2.5 稳健回归——Robust Regression

在这里插入图片描述

2.6 广义估计方程

在这里插入图片描述

2.7 方差分析

在这里插入图片描述

2.8 时间序列分析——Time Series Analysis

在这里插入图片描述

2.9 空间计量必备：状态空间模型——State space models

在这里插入图片描述

在这里插入图片描述

2.10 多元统计模型——因子/主成分分析

在这里插入图片描述

3 相关模型demo

3.1 线性回归模型

可参考：https://www.statsmodels.org/stable/examples/notebooks/generated/ols.html

#  线性模型
import statsmodels.api as sm
import numpy as np
x = np.linspace(0,10,100)
y = 3*x + np.random.randn()+ 10
# Fit and summarize OLS model
X = sm.add_constant(x)
mod = sm.OLS(y,X)
result = mod.fit()
print('Parameters: ', result .params)
print('Standard errors: ', result .bse)
print('Predicted values: ', result .predict())
print(result.summary())


# 预测数据
print(result.predict(X[:5]))

输出结果超级熟悉。

  • result.params是回归系数
  • result.summary()把模型相关系数都打印出来
    其中，预测的时候，如果不给入参数result.predict()，则默认是X

在这里插入图片描述

在这里插入图片描述

3.2 广义线性模型——GLM

参考：https://www.statsmodels.org/stable/examples/notebooks/generated/glm.html

import statsmodels.formula.api as smf
star98 = sm.datasets.star98.load_pandas().data
formula = 'SUCCESS ~ LOWINC + PERASIAN + PERBLACK + PERHISP + PCTCHRT + \
           PCTYRRND + PERMINTE*AVYRSEXP*AVSALK + PERSPENK*PTRATIO*PCTAF'
dta = star98[['NABOVE', 'NBELOW', 'LOWINC', 'PERASIAN', 'PERBLACK', 'PERHISP',
              'PCTCHRT', 'PCTYRRND', 'PERMINTE', 'AVYRSEXP', 'AVSALK',
              'PERSPENK', 'PTRATIO', 'PCTAF']].copy()
endog = dta['NABOVE'] / (dta['NABOVE'] + dta.pop('NBELOW'))
del dta['NABOVE']
dta['SUCCESS'] = endog

mod1 = smf.glm(formula=formula, data=dta, family=sm.families.Binomial()).fit()
mod1.summary()
mod1.predict(dta)

formula是常规的公式，其中所有X/Y数据都放在一个dataframe之中。
在这里插入图片描述

print('Total number of trials:',  data.endog[0].sum())
print('Parameters: ', res.params)
print('T-values: ', res.tvalues)

在这里插入图片描述

包括了回归系数，T检验值

3.3 稳健回归

参考：https://www.statsmodels.org/stable/examples/notebooks/generated/robust_models_0.html

nsample = 50
x1 = np.linspace(0, 20, nsample)
X = np.column_stack((x1, (x1-5)**2))
X = sm.add_constant(X)
sig = 0.3   # smaller error variance makes OLS<->RLM contrast bigger
beta = [5, 0.5, -0.0]
y_true2 = np.dot(X, beta)
y2 = y_true2 + sig*1. * np.random.normal(size=nsample)
y2[[39,41,43,45,48]] -= 5   # add some outliers (10% of nsample)

X2 = X[:,[0,1]]
res2 = sm.OLS(y2, X2).fit()
print(res2.params)
print(res2.bse)


resrlm2 = sm.RLM(y2, X2).fit()
print(resrlm2.params)
print(resrlm2.bse)
print(resrlm2.summary())

在这里插入图片描述

4 其他

4.1 模型结果如何CSV导出？

可以通过as_csv()将模型导出

resrlm2 = sm.RLM(y, x).fit()
resrlm2.summary()
with open( 'model_rlm.csv', 'w') as fh:
    fh.write(resrlm2.summary().as_csv())

不过导出的格式比较奇怪：
在这里插入图片描述

4.2 画模型图以及保存

import statsmodels.api as sm
import numpy as np
import matplotlib.pyplot as plt

# 准备数据
x = np.linspace(0,10,100)
y = 3*x + np.random.randn()+ 10

# Fit and summarize OLS model
res = sm.OLS(y,x).fit()
print(res.params)
print(res.summary())
# 稳健回归
resrlm = sm.RLM(y, x).fit()

# 画图
fig, ax = plt.subplots(figsize=(8,6))
ax.plot(x, y, 'o', label="truey ")
ax.plot(x, res.predict(), 'o', label="ols")  # res2.predict(X2) == res2.predict()
ax.plot(x, resrlm.predict(), 'b-', label="rlm")# resrlm2.predict(X2) == resrlm2.predict()
legend = ax.legend(loc="best")

# 图保存
plt.savefig( 'image.jpg')

4.3 快速获取模型输出参数：P检验、F检验、P统计量

def get_model_param(res2,name = 'all'):
    model_param_dict = {'name':name,  # 模型的名字
                        'rsquared':res2.rsquared, # R方
                        'fvalue':res2.fvalue, # F值，整个模型
                        'f_pvalue':res2.f_pvalue, # P值，整个模型
                        'params':res2.params[0], # 回归系数
                        'pvalues':res2.pvalues[0], # 回归系数 P检验 0.000
                        'tvalues':res2.tvalues[0]} # 回归系数 T检验 276.571
    return model_param_dict
statsmodels， Python 统计分析工具库！
m0_67847535的博客
04-15 2829
Python statsmodels库是一款功能强大的统计分析工具，广泛应用于数据分析、金融建模和经济学研究等领域。它提供了丰富的统计模型和数据处理工具，包括线性回归、时间序列分析、假设检验等多种功能，能够帮助用户进行数据探索、模型建立和预测分析。通过本文的介绍和示例代码，大家可以更深入地了解statsmodels库的特性和用法，从而提升数据分析和建模的能力，为实际项目的统计分析工作提供了强大的支持。
Python StatsModels统计
从零开始的教程世界
07-13 5283
Python StatsModels allows users to explore data, perform statistical tests and estimate statistical models. It is supposed to complement to SciPy’s stats module. It is part of the Python scientific st...
Python手册(Machine Learning)--statsmodels(Regression)
WilenWu
12-19 1万+
Regression一般线性回归TheoryModel ClassesResults ClassesExamples广义线性回归TheoryModel ClassesResults ClassesExamples广义估算方程线性混合模型离散因变量回归Examples Python手册(Machine Learning)–statsmodels(Quickstart) Python手册(Machi...
Python Statsmodels：时间序列分析与预测实战工具分享
最新发布
weixin_70955880的博客
03-11 2297
Python中的Statsmodels可以极大地简化时间序列分析的过程，这个智能库不仅能处理ARIMA、SARIMA、LSTM等复杂模型，还能轻松进行数据可视化。在这篇文章中，我将分享如何快速上手这一强大的工具，并通过实际案例展示其在数据分析中的应用。无论是初学者还是有经验的量化老手，都能从本文中获得宝贵的知识，提升自己的数据分析能力。
python中的统计模型库——statsmodels
weixin_42045968的博客
05-11 4946
起因 在熟悉了使用python进行数据的预处理之后，总想着将在大学时候通常基于R软件的统计模型直接在python中调用。有时两种语言风格切换会使编码过程不是很习惯。 statsmodels就是这样一个库，里面囊括着常用的一些统计模型： 前瞻 一、回归和线性模型 线性回归 广义线性模型 广义估计方程 广义加性模型（GAM） 稳健的线性模型 线性混合效应模型 离散因变量的回归 广义线性混合效应模型 方差分析 二、时间序列分析 时间序列分析 tsa 通过状态空间方法进行时间序列分析 statespace 向量自回
Python Statsmodels 简介
热门推荐
qq_41466440的博客
03-26 1万+
https://www.jianshu.com/p/e45558ccf533 13.3 statsmodels介绍 statsmodels（http://www.statsmodels.org）是一个Python库，用于拟合多种统计模型，执行统计测试以及数据探索和可视化。statsmodels包含更多的“经典”频率学派统计方法，而贝叶斯方法和机器学习模型可在其他库中找到。 包含在statsmodels中的一些模型： · 线性模型，广义线性模型和鲁棒线性模型 · 线性混合效应模型 ...
Python功能强大、灵活可扩展的Statsmodels库
hitpter的专栏
09-05 969
Statsmodels是一个功能强大、灵活可扩展的Python库，用于进行统计建模和数据分析。它提供了一系列丰富的统计模型和方法，可以帮助研究人员和数据科学家在Python环境中进行高级统计分析。在Statsmodels中，线性回归是最常用的统计模型之一。线性回归可以用来建立因变量和一个或多个自变量之间的线性关系。Statsmodels提供了丰富的统计工具，用于评估模型的拟合优度、参数估计的显著性等。此外，Statsmodels还支持多种回归模型的扩展，如岭回归、Lasso回归等。这些模型可以帮助研究人员更
Python进行统计建模
09-16
总的来说，Python的Statsmodels库为统计建模提供了强大的支持，无论是进行常规的线性回归还是复杂的时间序列分析，都能有效地实现。通过学习和掌握这些工具，数据分析师和科研人员能够更好地挖掘数据的价值，进行...
ols回归结果分析表python_Python Statsmodels 统计包之 OLS 回归
weixin_39826089的博客
12-20 3836
Statsmodels 是 Python 中一个强大的统计分析包，包含了回归分析、时间序列分析、假设检验等等的功能。Statsmodels 在计量的简便性上是远远不及 Stata 等软件的，但它的优点在于可以与 Python 的其他的任务(如 NumPy、Pandas)有效结合，提高工作效率。在本文中，我们重点介绍最回归分析中最常用的 OLS(ordinary least square)功能。当你...
常规示例：供个人参考的常规示例，主要是Python
02-23
时间序列分析则可能涉及pandas库，用于数据处理和分析，以及statsmodels或ARIMA模型，用于建模和预测时间序列数据。此外，matplotlib或seaborn库可能用于数据可视化，帮助理解数据趋势和模型性能。 总结来说，这个...
基于ARIMA模型的股票预测（python源码）
11-22
ARIMA模型，全称为自回归积分滑动平均模型（Autoregressive Integrated Moving Average Model），是一种用于时间序列预测的重要统计模型。在金融市场分析，尤其是股票市场预测中，ARIMA模型被广泛应用于研究股票价格...
Python-statsmodels在Python中的统计建模和计量经济学
08-10
statsmodels：在Python中的统计建模和计量经济学
statsmodels：Statsmodels：Python中的统计建模和计量经济学
02-05
statsmodels：Statsmodels：Python中的统计建模和计量经济学
Statsmodels_pythonpdf_statsmodels_
10-03
statistical model via python programming language
Statsmodels：Python中的统计建模和计量经济学-Python开发
05-25
关于statsmodels statsmodels是一个Python软件包，它为scipy提供了补充，可用于统计计算，包括描述性统计以及统计模型的估计和推断。 关于statsmodels statsmodels是一个Python软件包，它为scipy提供了补充，可用于统计计算，包括描述性统计以及统计模型的估计和推断。 文档最新版本的文档位于https://www.statsmodels.org/stable/开发版本的文档位于https://www.statsmodels.org/dev/发布说明https中突出显示了最近的改进。 ：//www.statsmodels.org/stable/release/version0.9.ht
Python数据统计分析入门指南
Python中的statsmodels库提供了进行线性回归和其他复杂回归模型的工具。 5. 时间序列分析 对于随时间变化的数据，时间序列分析是不可或缺的。Python中的pandas库可以帮助我们处理时间序列数据，并结合statsmodels库...
基于python利用statsmodels实现一元线性回归、高阶回归以及自变量为分类变量的回归（逐行代码解读，超细节）
喝饱水没烦恼的博客
05-20 3742
#导入要用的包，没有下载包的要用pip install安装对应的包 import numpy as np import matplotlib.pyplot as plt import statsmodels.api as sm nsample = 20 #定义样本量 x = np.linspace(0, 10, nsample) #生成0-10之间的20个数，作为样本 x array([ 0. , 0.52631579, 1.05263158, 1.57894737, 2.10.
python 使用Statsmodels回归分析
多凡的博客
10-06 6901
Statsmodels是Python中一个强大的统计分析包，包含了回归分析、时间序列分析、假设检验等等的功能。使用时需要导入Statsmodels库 需要注意的是OLS()未假设回归模型有常数项，需要通过sm.add_constant()在自变量x的左侧加上一列常量1。 使用matplotlib库结合Statsmodels库绘制收盘价曲线和回归直线 import pandas_dataread...
statsmodels专栏6——专业洞见：Python中的Statsmodels库高级线性模型
theskylife的博客
12-21 3503
在当今数据科学和统计分析领域，高级线性模型是解决更为复杂问题的得力工具。其中，Statsmodels库作为Python中的一项强大工具，提供了丰富的高级线性模型功能，为数据分析师和统计学家提供了更多解决方案。在本文中，我们将深入研究Statsmodels库中高级线性模型的几个重要方面，并展示它们在实际数据分析中的应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值