Task 04 Python数据分析：从0完成一个数据分析实战

学习内容概括

天池龙珠计划 Python训练营
7天 21小时，入门python，迈出AI第一步

学习地址

https://tianchi.aliyun.com/specials/promotion/aicamppython

具体学习内容

口袋妖怪数据集探索

数据集下载

# 数据集下载
!wget -O pokemon_data.csv https://pai-public-data.oss-cn-beijing.aliyuncs.com/pokemon/pokemon.csv

需要用到的三大组件

pandas

Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。

matplotlib

Matplotlib 是Python中类似 MATLAB 的绘图工具，熟悉 MATLAB 也可以很快的上手 Matplotlib。

seaborn

seaborn包依赖于scipy包。
Seaborn是基于matplotlib的图形可视化python包。它提供了一种高度交互式界面，便于用户能够做出各种有吸引力的统计图表。

开始

import panadas as pd
import seaborn as sns
import matplotlib.pyplot as plt

读取文件

df = pd.read_csv("./pokemon_data.csv")

首先我们观察一下数据的尺寸，可以通过 df.shape 这个来实现。当然 df.info() 能够给我们更加详细的每个列的信息。这里我们通过这个方式，可以发现这个数据集一共收录了801行，41列的数据。说明一共有801只宝可梦，每只宝可梦我们有41个特征来描述它们。

然后就迎来了我们的第一个问题：这么多特征，是否会有数据缺失呢？毕竟有些宝可梦比较神秘感，就连大木博士都不一定知道。这里我们可以通过如下代码来观察每个特征的缺失情况：

# 计算出每个特征有多少百分比是缺失的

percent_missing = df.isnull().sum() * 100 / len(df)
missing_value_df = pd.DataFrame({ 'column_name': df.columns,'percent_missing': percent_missing})

#查看Top10缺失的
missing_value_df.sort_values(by='percent_missing', ascending=False).head(10)

通过查看以上数据，我们可以发现，type2 这个字段缺失的比率最高，达到了 48% 左右。说明超过半数的宝可梦还是单纯的只有一个属性，剩下一般的则具有两种属性。

然后第二个问题就是：这么多宝可梦，每代分别有几只？这里我们可以通过简单的 df['generation'].value_counts() 来得到。但是为了更加直观的表现出不同代的宝可梦的数量差别，这里我们可以用pandas自带的画图的功能来绘制一个柱状图：通过查看以上数据，我们可以发现，type2 这个字段缺失的比率最高，达到了 48% 左右。说明超过半数的宝可梦还是单纯的只有一个属性，剩下一般的则具有两种属性。

# 查看各代口袋妖怪的数量
df['generation'].value_counts().plot.bar()

不难发现，宝可梦数量最多的是在第5代，最少的是在第6代。然后我们再来看不同的主属性的分布。这里我们可以先做一些简单的假设，比如虫属性的宝可梦种类比较多因为在剧中出现的频率相当高，而且有很多种进化。

了解不同特征之间的关联，这对我们了解宝可梦的特性很有帮助。比如通过观察 attack 这一个特征和 height_m 是正相关的，我们可以得出：越高的宝可梦，攻击力越高。但是再看 height_m，我们会发现它和 base_happiness 是负相关的。这个时候我们可以作出另外一个结论：长得高的宝可梦可能都不太开心。

接下来我们从宝可梦在实战中的角度来分析这组数据。这里我们只关注六个基础值：血量，攻击力，防御力，特攻，特防，速度。因为只有这六个基础值决定了一只宝可梦的战斗力在不考虑派系克制的情况下。

interested = ['hp','attack','defense','sp_attack','sp_defense','speed']
sns.pairplot(df[interested])

未完待续……………………