python：数据统计及数据可视化

一、前言

本篇博客主要讲解数据统计及数据可视化的常用方法

二、数据集

• 数据来源：
  在慕课网下载的数据：
  

三、数据统计分析

1、读取数据并查看基本信息

• 导入数据科学包：

# 导入数据科学工具包
import numpy as np
import pandas as pd
import seaborn

• 读取数据：

#读取数据
data=pd.read_csv('C:/Users/abc/Desktop/dataset/test.csv',encoding="ANSI")

#取消最大显示行数和列数限制
pd.options.display.max_columns=None
pd.options.display.max_rows=None

#读取数据表的前5行
data.head()

结果：

• 查看数据的基本信息

#查看数据尺寸
print(data.shape)
#查看数据数量
print(data.size)
#查看字段类型
print(data.dtypes)
#查看数据信息
print(data.info())

结果如下：

• 对数值型数据做一些统计：
  describe()方法

#数据描述：只统计数值型数据
data.describe()

2、分类数据的统计

(1)统计字段不同取值的数目

data['字段名'].value_counts()

(2)统计字段不同取值的占比

data["字段名"].value_counts(normalize=True)

3、数值型数据的统计

(1)cut函数

• 基本使用

• right参数
  是否包含右侧数据，默认包含右侧区间
  
  

• bin参数
  

• 对数值型数据进行分箱处理
  分箱：把一个大区间的数据分成多个小区间的数据，然后可以统计每个小区间的数据量、数据量的占比情况等指标

df_tenure_boxes, df_tenure_boxes_labels = pd.cut(data['tenure'], bins=[-111, 0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140, 150, 160, 170, 180, 190, 200, 8500], right=False, retbins=True, include_lowest=True)

数据量统计结果：

数据占比统计结果：

(2）

对数值型的数据进行描述：

4、其他数据统计

• 查看数据的指定列
  

四、数据可视化

1、柱状图

• 对数值型数据进行分箱处理

df_tenure_boxes, df_tenure_boxes_labels = pd.cut(data['tenure'], bins=[-111, 0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120, 130, 140, 150, 160, 170, 180, 190, 200, 8500], right=False, retbins=True, include_lowest=True)

• 统计不同区间的数据各自的数据量

df_tenure_boxes.value_counts()

结果：

• 分箱数据的label值，即每个区间的端点值

df_tenure_boxes_labels

结果：

• 统计每个区间的数据记录数

df_tenure_boxes.value_counts().sort_index().values

结果：

• 绘制柱状图

#绘制柱状图
import matplotlib.pyplot as plt
#设置画布的大小
plt.figure(figsize=(20, 10))
#柱状图：bar
plt.bar(range(22),  df_tenure_boxes.value_counts().sort_index().values, tick_label=df_tenure_boxes.value_counts(normalize=True).sort_index().index)
plt.show()

结果：

2、密度分布直方图

sns.distplot(data['tenure'])
plt.show()

结果：