数据的二次处理

数据的二次处理

使用特征工程的方法对数据进行二次处理，获得更高的数据特征相关性，利用特征工程的方法计算出k小时变温，k小时变压，k小时平均风速等相关特征对数据进行进一步处理，使得预测的结果更加准确`mport seaborn as sns
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import getdata
from scipy.stats import pearsonr
import warnings
import math
from scipy.stats import pearsonr
from scipy.stats import pearsonr
def data_processing(a,b):

plt.style.use('seaborn')

data2 = getdata(a,b);
print(data2.head(3))

#cel(excel_name, sheet_name=2, na_values=na_values)
# data3.head(3)

# # 数据清洗

# ## 缺失行补齐算法(不补齐会造成很严重的后果)

temp_df = data2.copy()
lack_list = list(set(time_list)-set(data2['last_update']))
lack_df = pd.DataFrame(lack_list,columns=['last_update'])
temp_df = pd.concat([temp_df,lack_df])
temp_df.sort_values("last_update",inplace=True)
temp_df.index = list(range(len(temp_df)))
temp_df.shape

data2 = temp_df
data2.describe().to_csv('describe1.csv')
data2.describe()

data2.info()
data2.isnull().sum().to_csv('info.csv')
data2.isnull().sum()


# ### 线性插值

data2.iloc[:,2:] = data2.iloc[:,2:].interpolate()
data2.isnull().sum()

## 异常值

# ### 消除负值，不低于边界点0

data2 = data2.applymap(lambda v: max(0,v) if isinstance(v, float) else v)
data2.describe().to_csv('describe2.csv')
data2.describe()

# 特征展示

# ## 分布图
warnings.filterwarnings("ignore")
def fkdeplot(vec, name):
    sns.kdeplot(vec)
    plt.title(name, fontsize=12)
    plt.show()

# for i in range(10):
#     fkdeplot(data2.iloc[:,i+2], 'Data')
fkdeplot(data2.iloc[:,4].values, 'SO2')
fkdeplot(data2.iloc[:,5].values, 'NO2')
fkdeplot(data2.iloc[:,3].values, 'PM10')
fkdeplot(data2.iloc[:,2].values, 'Pm2.5')
fkdeplot(data2.iloc[:,7].values, 'O3')
fkdeplot(data2.iloc[:,6].values, 'CO')
fkdeplot(data2.iloc[:,10].values, 'Temperature')
fkdeplot(data2.iloc[:,13].values, 'Humidity')
fkdeplot(data2.iloc[:,12].values, 'Pressure')
fkdeplot(data2.iloc[:,15].values, 'Wind Speed')

# ## AQI分布图
def compute_AQI(a):
    print(a)
    #a=np.array([n_SO2,n_