数据探索（数据填充）

import miceforest as mf
import pandas as pd 
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier,KNeighborsRegressor
from sklearn.ensemble import RandomForestRegressor, RandomForestClassifier
from sklearn.tree import DecisionTreeRegressor
from sklearn.linear_model import LinearRegression
from sklearn.svm import SVR
sns.set(font= 'SimHei',font_scale=0.8)
# windows 用户解决Seaborn中文显示问题
# sns.set(font='Arial Unicode MS',font_scale=0.7)
# mac用户解决Seaborn中文显示问题
plt.rcParams['font.sans-serif'] = ['Arial Unicode MS' ]
#用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False
#用来正常显示负号
# 2、导入数据
data = pd.read_csv("data/京唐港煤炭天气.csv",encoding="gbk")
print(data.isnull().sum())

# #单一插补
# kds = mf.KernelDataSet(
# data,
# save_all_iterations=True,
# random_state=10
# )
# # miceforest是通过迭代的随机森林模型来"填充” (插补)数据集中的缺失数据。
# # 他变量来估算数据集中的每个指定的变量，这些迭代持续运行，直到满足收敛为止。这个迭代过程会根据均值收敛状
# # 确定，但是一般不需要超过5次迭代。
# #关于随机森林的优势是可以并行化，通过在随机森林的fit和预测方法中设置n_jobs参数，可以节省大量时间
# kds.mice(iterations=3,
# n_jobs = -2
# )
# #这里我们设置的参数都可以传递给RandomForestClassifier或RandomForestRegressor。
# # n_jobs在数据 量很大的时候会有比较明显的时间优化，但是在小数据上并没有明显的差别。
# #返回使用单一填补方法填补好缺失值的完整数据集
# completed_data = kds.complete_data( )
# print(completed_data.isnull().sum())
# #查看插补前后数据集统计量的变化情况
# print("变化率：",(completed_data.mean() - data.mean())/data.mean())


# #多重插补
# kernel = mf.MultipleImputedKernel(
# data,
# datasets = 4,#多少次数
# save_all_iterations=True,
# save_models =1,
# random_state=10
# )
# # Run the MICE algorithm for 3 iterations on each of the datasets
# kernel.mice(iterations= 3,
# n_jobs=-1
# )
# print(kernel)
# # kernel.complete_data(0)#0~3个，和datasets有关

# completed_data=kernel.complete_data(3)
# print("变化率：",(completed_data.mean() - data.mean())/data.mean())
# #各种图，用不到
# kernel.plot_imputed_distributions(wspace=0.3,hspace=0.3)
# kernel.plot_correlations()
# kernel.plot_feature_importance(annot=True,cmap="YlGnBu",vmin=0,vmax=1)
# kernel.plot_mean_convergence(wspace=0.3,hspace=0.4)

#PMM
kernel = mf.MultipleImputedKernel(
data,
datasets = 4,#多少次数
mean_match_candidates=5
)
# Run the MICE algorithm for 3 iterations on each of the datasets
kernel.mice(iterations= 3,
n_jobs=-1
)
completed_data=kernel.complete_data(3)
print("变化率：",(completed_data.mean() - data.mean())/data.mean())
completed_data.to_csv("t.csv")