数据信息
import库函数
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
import warnings
warnings.filterwarnings("ignore")
%matplotlib inline
数据读取
# 数据集路径
test_data_file = "./zhengqi_test.txt"
train_data_file = "./zhengqi_train.txt"
# 读取数据
train_data = pd.read_csv(train_data_file, sep='\t', encoding='utf-8')
test_data = pd.read_csv(test_data_file, sep='\t', encoding='utf-8')
# 得到没有NAN值，并且数据有三十八个特征,一个标签
# 因为数据标签没有显示，所以无法主观判断数据之间的关系
train_data.info()#38个特征一个标签
train_data.describe()
箱线图
def box_map(Data):
"""画出Data的所有的特征标签对应的箱线图"""
#指定画布大小：
plt.figure(figsize=(18, 10))
#确定数据和画的标签列表
plt.boxplot(Data.values, labels=Data.columns)
#设置一些直线参数
plt.hlines([-7.5, 7.5], 0, 40, "red")
"""
箱线图另一种画法:
#取出每个特征的标签，以便画图
column = Data.columns.tolist()[:39]
# 指定绘图对象宽度和高度
fig = plt.figure(figsize=(20, 40))
for i in range(38):
# 一张画布画13行3列
plt.subplot(13, 3, i + 1)
sns.boxplot(Data[column[i]]# 数据
, orient="v"# “v”|“h” 用于控制图像使水平还是竖直显示
, width=0.5) # 箱式图
# 添加标签名称
plt.ylabel(column[i], fontsize=8)
"""
# 画出箱线图
box_map(train_data)
# 我们发现还是有很多在误差上下界外的数据（异常点），所以说我们要将这些数据删除掉
获取并删除异常值
from sklearn.metrics import mean_squared_error
# model使用那个模型寻找异常值。train_data，sigma为阈值
# 就是用残差的分布转化成标准正态分布,残差在正态分布sigma外的数据为异常数据
def find_outliers(model, train_data, sigma=3):
ALLX = train_data.iloc[:, 0:-1]
ALLY = train_data.iloc[:, -1]
"""使用model来见到的预测每一个标签值，若差距过大，就删除该条数据"""
plt.figure(figsize=(15, 3 * 38))# 38个标签特征
# 对于每一个特征值都进行删除异常值操作
for i, eachName in enumerate(ALLX.columns):
print("this is "+str(eachName)+" situation:")
_y = ALLX.loc[:, eachName]# 被预测的特征数据
_X = ALLX.drop(eachName, axis=1)# 用于模型训练的数据
model.fit(_X, _y)
y_pred = pd.Series(model.predict(_X), index=_y.index)
from sklearn.metrics import r2_score
#捕捉的信息量比例（不能反了）
R2=r2_score(model.predict(_X),_y)
print("均方误差MSE:{}, R^2:{}".format(round(mean_squared_error(_y, y_pred), 4), round(R2, 4)))
# 残差值
resid = _y - y_pred
# 残差值均值
resid_mean = resid.mean()
# 计算标准差啊
resid_std = resid.std()
print("残差均值resid_mean:{}, 残差标准差resid_std:{}".format(round(resid_mean, 4), round(resid_std, 4)))
# 残差标准化成正态分布，就是公式： F(x)=Φ[(x-μ)/σ]
z = (resid - resid_mean) / resid_std
# 异常值位置(真实值和预测值偏离程度较大,大于sigma倍标准差)
outliers = z[abs(z) > sigma].index # 取横向坐标索引便于删除异常值数据
print("异常值索引outlier index:", outliers.tolist())
# *******************可视化异常值（呈现正相关性越好）*****************
# ---------------真实和预测数据之间的关系----------------
# 创建ax_1子图
ax_1 = plt.subplot(38, 3, i * 3 + 1)
# 画出真实值和预测值，用“.”代表样本，颜色默认
plt.plot(_y, y_pred, ".", label="Accepted")
# 将异常值数据进行单独标出，用红色标出，有外轮廓
plt.plot(_y.loc[outliers], y_pred[outliers], "ro", label="Outlier")
# y轴为预测值
plt.ylabel("y_pred")
# x轴为真实值
plt.xlabel("true_y of " + eachName)
plt.legend()
# ---------------残差 越靠近零值越好----------------
ax_2 = plt.subplot(38, 3, i * 3 + 2)
# 画出残差点
plt.plot(_y, _y - y_pred, ".", label="Accepted")
# 画出异常值数据的残差点
plt.plot(_y.loc[outliers], _y.loc[outliers] - y_pred.loc[outliers], "ro", label="Outlier")
plt.ylabel("residual")
plt.xlabel("true_y of " + eachName)
plt.legend()
# ---------------绘制直方图，样本分布----------------
ax_3 = plt.subplot(38, 3, i * 3 + 3)
# 样本分箱50，颜色蓝色
ax_3.hist(z, bins=50, facecolor="blue")
# 异常值搞成红色
ax_3.hist(z.loc[outliers], bins=50, facecolor="red")
plt.legend(["Accepted", "Outlier"])
plt.xlabel("distribution of " + eachName)
if R2 > 0.7:
# 根据异常值将样本数据异常值点删除
ALLX = ALLX.drop(outliers)
ALLY = ALLY.drop(outliers)
# 自动进行子图缩进
plt.tight_layout()
# 返回删除异常值的train_data
data=pd.concat([ALLX,ALLY],axis=1)
data.index=list(range(data.shape[0]))
return data
from sklearn.linear_model import Ridge
train_data=find_outliers(Ridge(),train_data, sigma=3)
那么得到的数据在正态分布上就是一下两个图的组合,sigma就是图中的z
样本删除可视化后：
删除后的箱线图：虽然还有很多
是否符合正态分布
def prob_kde(train_data):
"""画出样本分布，和Q-Q图"""
train_cols = 6 # 一行三个特征
train_rows = len(train_data.columns)# 特征个数
# 4个单位一个图，纵：4 * train_cols 横：需要train_rows / 3行
plt.figure(figsize=(4 * train_cols, 4 * train_rows / 3))
i = 0
for col in train_data.columns[:-1]:
dat = train_data[[col, "target"]].dropna()
i += 1
ax = plt.subplot(train_rows / 3, train_cols, i)
# seaborn中的函数distplot画出分布密度函数以及核密度函数，默认参数直方图hist=True 核函数kde=True
sns.distplot(dat[col], fit=stats.norm)# 拟合stats.norm正态分布
plt.title("skew=" + "{:.4f}".format(stats.skew(dat[col])))#计算偏态问题质数
""" skewness = 0 : normally distributed.
skewness > 0 : more weight in the left tail of the distribution.
skewness < 0 : more weight in the right tail of the distribution. """
i += 1
ax = plt.subplot(train_rows / 3, train_cols, i)
# scipy.stats中的函数 能Q-Q图,越靠近直线越服从正态分布
res = stats.probplot(dat[col], plot=plt)
# 计算相关系数
plt.title("corr=" + "{:.2f}".format(np.corrcoef(dat[col], dat["target"])[0][1]))
plt.tight_layout()
训练数据和测试数据的分布关系
def train_test_kde(train_data, test_data, columns):
# 一行六张图，六个特征
dist_cols = 6
dist_rows = len(test_data.columns)
# 创建7行空间，一个字图为正方形，4个单位像素
plt.figure(figsize=(4 * dist_cols, 4 * 7))
i = 1
for col in columns:
ax = plt.subplot(7, dist_cols, i)
# 训练数据核密度函数
sns.kdeplot(train_data[col], color="red", shade=True,label="train")
# 测试数据核密度函数
sns.kdeplot(test_data[col], color="blue", shade=True,label="test")
# 添加特征名称
plt.xlabel(col)
# 纵坐标
plt.ylabel("Frequence")
plt.legend()
i += 1
plt.tight_layout()
#看train_data和test_data中标签对应的数据是否分布相似，
# 若不相似会导致模型非泛化能力变差，需要删除此类特征。
train_test_kde(train_data,test_data,X_train.columns)
#特征变量V5,V9,V11,V17,V22,V28在训练集和测试集中的数据分布不一致,所以要删除特征数据
drop_columns=["V5","V9","V11","V17","V22","V28"]
# 指定删除columns特征，覆盖原数据
train_data.drop(columns = drop_columns, inplace=True)
test_data.drop(columns = drop_columns, inplace=True)
训练和测试数据归一化正态化
数据分布情况：
def prob_kde(train_data):
"""画出样本分布，和Q-Q图"""
train_cols = 6 # 一行三个特征
train_rows = len(train_data.columns)# 特征个数
# 4个单位一个图，纵：4 * train_cols 横：需要train_rows / 3行
plt.figure(figsize=(4 * train_cols, 4 * train_rows / 3))
i = 0
for col in train_data.columns[:-1]:
dat = train_data[[col, "target"]].dropna()
i += 1
ax = plt.subplot(train_rows / 3, train_cols, i)
# seaborn中的函数distplot画出分布密度函数以及核密度函数，默认参数直方图hist=True 核函数kde=True
sns.distplot(dat[col], fit=stats.norm)# 拟合stats.norm正态分布
plt.title("skew=" + "{:.4f}".format(stats.skew(dat[col])))#计算偏态问题质数
""" skewness = 0 : normally distributed.
skewness > 0 : more weight in the left tail of the distribution.
skewness < 0 : more weight in the right tail of the distribution. """
i += 1
ax = plt.subplot(train_rows / 3, train_cols, i)
# scipy.stats中的函数 能Q-Q图,越靠近直线越服从正态分布
res = stats.probplot(dat[col], plot=plt)
# 计算相关系数
plt.title("corr=" + "{:.2f}".format(np.corrcoef(dat[col], dat["target"])[0][1]))
plt.tight_layout()
# 然后看每个特征数据是否符合标准正态分布
prob_kde(train_data)
# 从图中可以看出：
# 基本所有数据存在偏态问题，其中特征V9 V18 V23 V24 存在较为严重的偏态问题
# 未解决数据偏态问题，我们对于每个特征数据进行标准化，可视化：
# 预先进行归一化操作(全部数据，建议在数据量比较大的时候进行处理)
from sklearn.preprocessing import MinMaxScaler
def func_mms(train,test):
# 取出需要归一化的特征
cols_numeric = test.columns
# 创建归一化方法
# 对train,test进行数据训练
train_data_process = pd.DataFrame(MinMaxScaler().fit_transform(train[cols_numeric]), columns=cols_numeric)
test_data_process = pd.DataFrame(MinMaxScaler().fit_transform(test[cols_numeric]), columns=cols_numeric)
return pd.concat([train_data_process, train_data["target"]], axis=1),test_data_process
#调用归一化函数
train_data,test_data=func_mms(train_data,test_data)
stats.boxcox正态化：
for var in test_data.columns:
train_data[var], lambda_var = stats.boxcox(train_data[var].dropna() + 1) # 数值只能是正值
test_data[var], lambda_var = stats.boxcox(test_data[var].dropna() + 1) # 数值只能是正值
prob_kde(train_data)
多重共线性
通过热力图查看
train_corr = train_data.corr()# 生成关系矩阵
plt.figure(figsize=(20, 16))
sns.heatmap(train_corr, vmax=0.8, square=True, annot=True)#热力图
颜色越浅共线性越强：
#我们取出和便签["target"]相关系数最高的十个特征
#columns参数就是和标签target相关系数最高的十个特征，组成（10，train_corr.shape[0]）矩阵
#然后取出最大值特征相对于taregt的数据组成pandas.Series数据nlargest_f
nlargest_f = train_corr.nlargest(10, columns="target")["target"]
cols = nlargest_f.index
plt.figure(figsize=(10, 10))
sns.heatmap(train_data[cols].corr(), annot=True, square=True)
#除了主对角线之外，其他的部分颜色越浅，代表相关性系数越高，多重共线性更加明显。
通过多重共线性方差膨胀因子查看
from statsmodels.stats.outliers_influence import variance_inflation_factor #多重共线性方差膨胀因子
cols=train_data.columns
X=np.matrix(train_data[cols])
VIF_list=[variance_inflation_factor(X, i) for i in range(X.shape[1])]
#VIF_list就是膨胀因子
方差膨胀因子的解释
PCA解决多重线性问题：
不过这里效果不好，没使用
# from sklearn.decomposition import PCA #主成分分析
# #PCA方法降维处理多重共线性
# #保持90%的信息
# pca = PCA(n_components=0.95)
# new_train_data = pca.fit_transform(train_data.iloc[:,0:-1])
# new_test_data = pca.transform(test_data)
# new_train_data = pd.DataFrame(new_train_data)
# new_test_data = pd.DataFrame(new_test_data)
# new_train_data['target'] = train_data['target']
# new_train_data.describe()
629
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
