案例分析：FIFA2018球员数据分析

案例分析练习：

FIFA2018球员数据分析

# 引入要使用的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

一、首先要明确分析的目标

当获取一份数据集时，应该对数据信息做个总体的了解。
1、加载数据文件

# 加载数据文件
df = pd.read_csv('FIFA_2018_player.csv')

2、简单查看下数据，有哪些列，都是什么类型的值

# 简单查看下数据，有哪些列，都是什么类型的值
df.head()

head方法默认显示头部的5行

• 数据字段信息

* name：球员姓名
* full_name：球员姓名全称
* nationality：国家
* league：联赛
* club：俱乐部
* age：年龄
* birth_date：出生日期
* height_cm：身高
* weight_kg：体重
* eur_value：身价
* eur_wage：工资

3、看下数据整体统计信息，了解下数据总体分布。

# 看下数据的整体信息
df.describe()

二、对数据进行预处理

所有需要分析的数据都需要查看，对于数值型，可以看describe⽅法输出的信息，重点关注最⼤值、最⼩值、平均值、行数等数据。

1、对需要分析的字段依次查看是否有null值

# name是否有null值
df[df.name.isnull()]

执行显示：name没有null值

# full_name是否有null值
df[df.full_name.isnull()]

执行显示：full_name没有null值

# nationality是否有空值
df[df.nationality.isnull()]

执行显示：nationality没有null值

# league是否有空值
df[df.league.isnull()]

执行显示：league有253条null值数据，需要进行处理

所在联赛、俱乐部都没有值，身价和周薪也是0，253条数据对于一万多条数据来说影响还好，可以删除。
删除数据一般放在后面进行，这里因为其他列数据也是异常，所以可以先删掉

2、使用drop方法删除league空值数据

# 删除league的null值数据
df.drop(df[df.league.isnull()].index, inplace=True)

• 检查一下是否已删除成功

# 在看一下是否删除成功
df[df.league.isnull()]

• 在查看下club是否还有空值

# club是否有空值
df[df.club.isnull()]

3、如果觉得age最小值有问题，单独输出来看下；其他列处理方法类似。

# 如果觉得age最小值有问题，可以输出看下
# 其他列类似
df[df['age'] == 16]

# eur_value列最小值是0，需要看下
df[df['eur_value'] < 1000]

4、 eur_value为0的列可以使用平均值来填充（只有几条数据，也可以删除）

# eur_value为0的列可以使用平均值来填充（只有几条数据，也可以删除）
df['eur_value'].replace(0, df['eur_value'].mean(), inplace=True)

• 查看eur_value为0的列是否填充成功

# 在看下是否填充成功
df[df['eur_value'] < 1000]
df.loc[3272]
df[df.ID == 176900]

• eur_wage列最⼩值也是0，也需要检查下

# eur_wage列最⼩值是0，也需要看下
df[df['eur_wage'] < 1000]

5、最后看下有⽆重复值（如果有可以⽤drop_duplicates处理）

# 最后看下有⽆重复值（如果有可以⽤drop_duplicates处理）
df[df.duplicated()]

• 指定列判断是否有重复值

# 对指定的列判断是否有重复值
df[df.loc[:,['full_name', 'nationality', 'league', 'club','birth_date']].duplicated()]

• 也可以单独查看full_name是否有重复值

# 也单独看下full_name是否有重复值，同名的有很多，所以不用处理
len(df.full_name.unique()), len(df)

df[df.full_name.duplicated()]

• 随便找条full_name重复的记录看下

# 随便找条full_name重复的记录看下
df[df['full_name'] == 'Gonzalo Castro']

数据清洗完毕，开始分析

三、确定分析维度和指标

1、查看数据样本总数

# 查看样本总数
df.count()

2、对于数值类型列的⼀些常⻅的统计学指标，使用describe方法查看

# 数值类型列的⼀些常⻅的统计学指标
df.describe()

3、对于离散类型数据，直接使用groupby分组，如：国家、俱乐部等维度

# 国家维度的运动员数
# 使用groupby分组，并计算总和
nationality_data = df.groupby('nationality', as_index=False).count()[['nationality','ID']]
nationality_data

• 将ID列重命名为player_count

# 重命名ID列
nationality_data.rename(columns={'ID':'player_count'}, inplace=True)
nationality_data

• 使用sort_values()函数按照运动员数量进行排序

pandas中的sort_values()函数原理类似于SQL中的order by，可以将数据集依照某个字段中的数据进行排序，该函数即可根据指定列数据也可根据指定行的数据排序。

# 按照运动员数量排名
nationality_sorted_data = nationality_data.sort_values('player_count', ascending=False)
nationality_sorted_data

• 运动员数量⼤于100的国家列表

# 运动员数量⼤于100的国家列表
nationality_sorted_data[nationality_sorted_data.player_count > 100]

• 使用league列进行分组统计各⼤联赛得运动员数量

# 各⼤联赛得运动员数量
league_data = df.groupby('league', as_index=False).count()[['league','ID']].sort_values('ID', ascending=False)
league_data

• 求各俱乐部平均周薪

# 各俱乐部平均周薪
df.groupby('club', as_index=False).mean()[['club', 'eur_wage']].sort_values('eur_wage', ascending=False).head(50)

• 使用groupby先对club进行分组，再用mean()方法求得英超联赛English Premier League各个俱乐部球员的平均⽉薪，然后排序sort_values()

# 英超联赛English Premier League各个俱乐部球员的平均⽉薪
df[df.league == 'English Premier League'].groupby('club',as_index=False).mean()[['club', 'eur_wage']].sort_values('eur_wage', ascending=False)

4、对于连续型数据，通常使用分区间的方式；如：年龄、时间等维度，使用pd.cut()方法分区间进行统计。

• 使用numpy的arange()函数生成等差的数组用于分段统计

# 球员年龄段分布
# 生成桶， 5岁一个分桶，最小16岁， 最大47
bins = np.arange(15, 50, 5)
bins

• 使用cut()将数据进行分区间

bins_data = pd.cut(df['age'], bins)
bins_data

• 以年龄的维度，对已分出区间的数据进行groupby分组统计。

bins_counts = df['age'].groupby(bins_data).count()
bins_counts

四、可视化展示

简单的折线图展示：

bins_counts.plot()

为了使图标展示更好看处理index

# 为了图标展示好看处理index
bins_counts.index = [str(x.left) + '~' + str(x.right) for x in bins_counts.index]
bins_counts.index

柱状图展示：

bins_counts.plot(kind='bar', alpha=1, rot=0)
plt.show()