python数据分析实战之AQI预测

最新推荐文章于 2024-06-10 13:45:38 发布

恋恋风尘hhh

最新推荐文章于 2024-06-10 13:45:38 发布

阅读量1.4k

点赞数 4

分类专栏： python数据分析文章标签：数据分析

本文链接：https://blog.csdn.net/weixin_42384784/article/details/105671197

版权

本文通过Python进行AQI预测实战，涉及数据加载、处理转换、基模型建立、特征选择（RFECV）、异常值处理（临界值填充、分箱离散化）以及残差图分析，逐步优化模型，提升预测准确性。

摘要由CSDN通过智能技术生成

前言：上一篇对AQI进行了分析，这一篇根据对以往的数据，建立一个模型，可以将模型应用于未知的数据，来进行AQI的预测。

文章目录

1、加载相关库和数据集

使用的库主要有：pandas、numpy、matplotlib、seaborn、sklearn
使用的数据集：2015年空气质量指数（AQI）数据集

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings

sns.set(style="darkgrid")
plt.rcParams["font.family"] = "SimHei"     # 设置可以显示中文字体
plt.rcParams["axes.unicode_minus"] = False
warnings.filterwarnings("ignore")          # 忽略警告信息  

data = pd.read_csv("AQI_data.csv")         # AQI历史数据集

2、数据处理和转换

2.1 简单的数据处理

# 空值、重复值处理
data.fillna({
   "Precipitation": data["Precipitation"].median()}, inplace=True)
data.drop_duplicates(inplace=True)

2.2 数据转换

对于模型来说，内部进行的都是数学上的运算，所以在进行建模之前，我们需要对类别变量进行数据转换，变成离散变量。

# 将类别变量（是，否）转成离散变量（1，0）
data["Coastal"] = data["Coastal"].map({
   "是": 1, "否": 0})
data["Coastal"].value_counts()

3、建立基模型

不进行任何处理，建立一个基模型，后续的操作都可以在此基础上进行改进。

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split

X = data.drop(["City","AQI"], axis=1)  # 城市名称对结果不会有影响，所以去除城市列
y = data["AQI"]
# 切分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=0)

lr = LinearRegression()
lr.fit(X_train, y_train)         # 使用训练集训练模型
print("训练集R^2：",lr.score(X_train, y_train))
print("测试集R^2：",lr.score(X_test, y_test))
------------------------
训练集R^2： 0.4685357478390665
测试集R^2： 0.3075998035417721

y_hat = lr.predict(X_test)
plt.figure(figsize=(15, 5))
plt.plot(y_test.values, "-r", label="真实值", marker="o")
plt.plot(y_hat, "-g", label="预测值", marker="D")
plt.legend(loc="upper left")
plt.title("线性回归预测结果", fontsize=20)

在这里插入图片描述

4、特征选择

建立基模型时选择了所有的特征建立模型，但是特征并非越多越好，有些特征可能对模型质量并没有什么改善，我们可以进行删除，同时也可以提高模型训练速度。
特征选择的方式有很多，常用的有RFECV方法

4.1 RFECV

RFECV分成两个部分，分别为RFE和CV。
RFE（Recursive Feature Elimination）：递归特征消除，用来对特征进行重要性评级。

（1）初始的特征集为所有可用的特征

（2）使用当前特征集进行建模，然后计算每个特征的重要性。

（3）删除最不重要的一个（或多个）特征，更新特征集。

（4）跳转到步骤（2），直到完成所有特征的重要性评级。

CV（Cross Validation）：交叉验证，在特征评级后，通过交叉验证，选择最佳数量的特征。

（1）根据RFE阶段确定的特征重要性，依次选择不同数量的特征。

（2）对选定的特征集进行交叉验证

（3）确定平均分最高的特征数量，完成特征选择。

4.2 使用RFECV进行特征选择

from sklearn.feature_selection import RFECV

# estimator： 要操作的模型，step： 每次删除的变量数，cv： 使用的交叉验证折数
# n_jobs： 并发的数量， scoring: 评估的方式。
rfecv = RFECV(estimator=lr, step=1, cv=5, n_jobs=-1, scoring="r2")<