python数据可视化分析
首先载入必要的库
import warnings
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
sns.set()
warnings.filterwarnings('ignore')
单变量可视化
单变量（univariate）分析一次只关注一个变量。当我们独立地分析一个特征时，通常最关心的是该特征值的分布情况。下面考虑不同统计类型的变量，以及相应的可视化工具。
一、数值特征
数量特征（quantitative feature）的值为有序数值。这些值可能是离散的，例如整数，也可能是连续的，例如实数。
1、直方图：hist
直方图依照相等的间隔将值分组为柱，它的形状可能包含了数据分布的一些信息，如高斯分布、指数分布等。当分布总体呈现规律性，但有个别异常值时，你可以通过直方图辨认出来。
features = [‘列名1’, ‘列名2’]
df[features].hist(figsize=(10, 4))
其中figsize变量是指每张图片尺寸大小。
2、密度图：plot
密度图（density plots），也叫核密度图（ kernel density estimate，KDE）是理解数值变量分布的另一个方法。它可以看成是直方图平滑（ smoothed ）的版本。相比直方图，它的主要优势是不依赖于柱的尺寸，更加清晰。
features = [‘列名1’, ‘列名2’]
df[features].plot(kind=‘density’, subplots=True, layout=(1, 2),sharex=False, figsize=(10, 4), legend=False, title=features)
其中kind=‘density表示的是类型是密度图，layout=(1, 2)表示呈现一行两列图的格式，sharex=False表示不共享X轴，figsize变量是指每张图片尺寸大小。
当然，还可以使用 seaborn 的 distplot() 方法观测数值变量的分布。例如，Total day minutes 每日通话时长 的分布。默认情况下，该方法将同时显示直方图和密度图。
sns.distplot(df[‘列名’])
上图中直方图的柱形高度已进行归一化处理，表示的是密度而不是样本数
3、箱型图：boxplot()
箱形图的主要组成部分是箱子（box），须（whisker）和一些单独的数据点（离群值），分别简单介绍如下：
-
箱子显示了分布的四分位距，它的长度由 25th（Q1，下四分位数）25th（Q1，下四分位数） 和
75th（Q3，上四分位数）75th（Q3，上四分位数） 决定，箱中的水平线表示中位数 （50%50%）。 -
须是从箱子处延伸出来的线，它们表示数据点的总体散布，具体而言，是位于区间
（Q1−1.5⋅IQR,Q3+1.5⋅IQR）（Q1−1.5⋅IQR,Q3+1.5⋅IQR）的数据点，其中
IQR=Q3−Q1IQR=Q3−Q1，也就是四分位距。 -
离群值是须之外的数据点，它们作为单独的数据点，沿着中轴绘制。
sns.boxplot(x=‘列名’, data=df)
4、提琴型图：violinplot()
提琴形图和箱形图的区别是，提琴形图聚焦于平滑后的整体分布，而箱形图显示了单独样本的特定统计数据。
fig,axes = plt.subplots(1, 2, sharey=True, figsize=(6, 4))
sns.boxplot(data=df[‘列名’], ax=axes[0])
sns.violinplot(data=df[‘列名’], ax=axes[1])
其中：plt.subplots(1, 2, sharey=True, figsize=(6, 4))表示绘制多子图。
sharex, sharey：
- 设置为 True 或者 ‘all’ 时，所有子图共享 x 轴或者 y 轴
- 设置为 False or ‘none’ 时，所有子图的 x，y 轴均为独立
- 设置为 ‘row’ 时，每一行的子图会共享 x 或者 y 轴
- 设置为 ‘col’ 时，每一列的子图会共享 x 或者 y 轴
二、类别特征和二元特征
- 类别特征（categorical features
take）反映了样本的某个定性属性，它具有固定数目的值，每个值将一个观测数据分配到相应的组，这些组称为类别（category）。
假如某一数值特征重复值很多，因此，既可以看成数值变量，也可以看成有序类别变量。 - 二元（binary）特征是类别特征的特例，其可能值有 2 个。即bool类型
条形图：countplot()
fig, axes = plt.subplots(nrows=1, ncols=2, figsize=(12, 4))
sns.countplot(x=‘Churn’, data=df, ax=axes[0])
sns.countplot(x=‘Customer service calls’, data=df, ax=axes[1])
其中：nrows，ncols：子图的行列数
子图的行列数。
条形图和直方图的区别如下：
- 直方图适合查看数值变量的分布，而条形图用于查看类别特征。
- 直方图的 X 轴是数值；条形图的 X 轴可能是任何类型，如数字、字符串、布尔值。
- 直方图的 X 轴是一个笛卡尔坐标轴；条形图的顺序则没有事先定义。
多变量可视化
多变量（multivariate）图形可以在单张图像中查看两个以上变量的联系，和单变量图形一样，可视化的类型取决于将要分析的变量的类型。
一、数量与数量
1、相关矩阵
相关矩阵可揭示数据集中的数值变量的相关性。这一信息很重要，因为有一些机器学习算法（比如，线性回归和逻辑回归）不能很好地处理高度相关的输入变量。
首先要丢弃非数值变量
numerical = list(set(df.columns) -set([‘非数量值列名1’, ‘非数量值列名2’,…]))
然后计算相关系数和绘图
corr_matrix = df[numerical].corr()
sns.heatmap(corr_matrix)
2、散点图：scatter()
散点图（scatter plot）将两个数值变量的值显示为二维空间中的笛卡尔坐标（Cartesian coordinate）。通过 matplotlib 库的 scatter() 方法可以绘制散点图
plt.scatter(df[‘列名1’], df[‘列名2’])
seaborn 库的 jointplot() 方法在绘制散点图的同时会绘制两张直方图，某些情形下它们可能会更有用。
sns.jointplot(x=‘列名1’, y=‘列名2’,data=df, kind=‘scatter’)
jointplot() 方法还可以绘制平滑过的散点直方图。
sns.jointplot(‘列名1’, ‘列名2’, data=df, kind=“kde”, color=“g”)
上图基本上就是之前讨论过的核密度图的双变量版本。
3、散点图矩阵
在某些情形下，我们可能想要绘制如下所示的散点图矩阵（scatterplot matrix）。它的对角线包含变量的分布，并且每对变量的散点图填充了矩阵的其余部分
numerical = list(set(df.columns) -set([‘非数量值列名1’, ‘非数量值列名2’,…]))
%config InlineBackend.figure_format = ‘png’
sns.pairplot(df[numerical])
二、数量和类别
sns.lmplot(‘数量列名1’, ‘数量列名2’,data=df, hue=‘类别列名’, fit_reg=False)
三、类别和类别
前面条形图加上hue参数即可。
sns.countplot(x=‘类别1’, hue=‘类别2’, data=df)
全局数据集可视化
上面我们一直在研究数据集的不同方面（facet），通过猜测有趣的特征并一次选择少量特征进行可视化。如果我们想一次性显示所有特征并仍然能够解释生成的可视化，该怎么办？
通过降维：
大多数现实世界的数据集有很多特征，每一个特征都可以被看成数据空间的一个维度。因此，我们经常需要处理高维数据集，然而可视化整个高维数据集相当难。为了从整体上查看一个数据集，需要在不损失很多数据信息的前提下，降低用于可视化的维度。这一任务被称为降维（dimensionality reduction）。降维是一个无监督学习（unsupervised learning）问题，因为它需要在不借助任何监督输入（如标签）的前提下，从数据自身得到新的低维特征。
2种降维方法：
- PCA：主成分分析（Principal Component Analysis, PCA）是一个著名的降维方法，但主成分分析的局限性在于，它是线性（linear）算法，这意味着对数据有某些特定的限制。
- t-SNE：与线性方法相对的，有许多非线性方法，统称流形学习（Manifold Learning）。著名的流形学习方法之一是 t-SNE。
关于t-SNE：
它的基本思路很简单：为高维特征空间在二维平面（或三维平面）上寻找一个投影，使得在原本的 n 维空间中相距很远的数据点在二维平面上同样相距较远，而原本相近的点在平面上仍然相近。
步骤：
该数据库创建一个 t-SNE 表示，首先加载依赖。
from sklearn.manifold import TSNE
from sklearn.preprocessing import StandardScaler
去除 State 州 和 Churn 离网率 变量，然后用 pandas.Series.map() 方法将二元特征的「Yes」/「No」转换成数值。
（将其他文本特征和目标特征去除）
X = df.drop(['Churn', 'State'], axis=1)
X['International plan'] = X['International plan'].map({'Yes': 1, 'No': 0})
X['Voice mail plan'] = X['Voice mail plan'].map({'Yes': 1, 'No': 0})
使用 StandardScaler() 方法来完成归一化数据，即从每个变量中减去均值，然后除以标准差。
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
现在可以构建 t-SNE 表示了。
tsne = TSNE(random_state=17)
tsne_repr = tsne.fit_transform(X_scaled)
然后以图形的方式可视化
plt.scatter(tsne_repr[:, 0], tsne_repr[:, 1], alpha=.5)
根据离网情况给 t-SNE 表示加上色彩（蓝色表示忠实用户，黄色表示不忠实用户），形成离网情况散点图
plt.scatter(tsne_repr[:, 0], tsne_repr[:, 1],
c=df['Churn'].map({False: 'blue', True: 'orange'}), alpha=.5)
可以看到，离网客户集中在低维特征空间的一小部分区域。为了更好地理解这一图像，可以使用剩下的两个二元特征，即 International plan 国际套餐 和 Voice mail plan 语音邮件套餐 给图像着色，蓝色代表二元特征的值为 Yes，黄色代表二元特征的值为 No。
_, axes = plt.subplots(1, 2, sharey=True, figsize=(12, 5))
for i, name in enumerate(['International plan', 'Voice mail plan']):
axes[i].scatter(tsne_repr[:, 0], tsne_repr[:, 1],
c=df[name].map({'Yes': 'orange', 'No': 'blue'}), alpha=.5)
axes[i].set_title(name)
最后，了解下 t-SNE 的缺陷
- 计算复杂度高。如果你有大量样本，你应该使用 Multicore-TSNE
- 随机数种子的不同会导致图形大不相同，这给解释带来了困难。通常而言，你不应该基于这些图像做出任何决定性的结论，因为它可能和单纯的猜测差不多。当然，t-SNE 图像中的某些发现可能会启发一个想法，这个想法可以通过更全面深入的研究得到确认。
874
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
