探索性数据EDA

import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
from pandas import DataFrame
import pandas as pd
from sklearn.datasets import load_iris
from sklearn.decomposition import PCA
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score
#调入数据
iris=load_iris()
#sklearn对数据集作介绍
print(iris.DESCR)
#提取数据集内容
iris_data=iris.data
feature_names=iris.feature_names
iris_target=iris.target
#格式整理
iris_target.shape=(150,1)
iris_all=np.hstack((iris_data,iris_target))
#转化为DataFrame
iris_data_df=DataFrame(iris_data,columns=feature_names)
iris_target_df=DataFrame(iris_target,columns=['target'])
iris_data_all_df=DataFrame(iris_all,columns=feature_names+['target'])
print(iris_data_all_df.head())#默认为前5行
print(iris_data_all_df.tail())#默认为后5行
print(iris_data_all_df.sample(5))#随机抽取5行
print(iris_data_all_df.shape)#大小
print(iris_data_all_df.dtypes)#类型
print(iris_data_all_df.info())#多信息
print(iris_data_all_df.describe())#常见统计量的描述
sns.boxplot(data=iris_data_df)#制作箱图
plt.show()
plt.plot(iris_data_df)
plt.legend(feature_names)
plt.show()
#为了便于观察，也可以做出部分数据的图
#sepal
sepal_data_df=iris_data_df[['sepal length (cm)','sepal width (cm)']]
plt.plot(sepal_data_df)
plt.legend(['sepal length(cm)','sepal width(cm)'])
plt.title('sepal data')
plt.show()
#数据降维
#用协方差来表示变量之间的关系并可视化
Corr_Mat=iris_data_df.corr()
Mat_img=plt.matshow(Corr_Mat,cmap=plt.cm.winter_r)
plt.colorbar(Mat_img,ticks=[-1,0,1])
plt.show()
#可从上图看到第二个特征与其他几个特征的关系不大，所以可以选择将数据降为二维（当然三维和一维也是可以的，主要要取决于想要保留原来多少信息量）
#降维
pca=PCA(n_components=2)
pca_2c=pca.fit_transform(iris_data_df)
print(pca.explained_variance_ratio_)
print(pca.explained_variance_ratio_.sum())
plt.scatter(pca_2c[:,0],pca_2c[:,1],c=np.array(iris_target_df),alpha=0.8,cmap=plt.cm.winter)
#plt.show()