python学习第十弹：宝可梦数据分析-平民最强

学习感悟

经过十多天的python学习，对于python有了更进一步的认识，对于之前学的时候没有学扎实的内容有了进一步的巩固。
最后一天对于寻找宝可梦平民神兽的学习无疑是最有趣的一课，就像炒股一样，如果可以找到看着平平无奇的优质股，无疑可以打大赚一笔。
接下来，简单描述下学习的过程。

1、数据集下载

!wget -O pokemon_data.csv https://pai-public-data.oss-cn-beijing.aliyuncs.com/pokemon/pokemon.csv

2.然后我们import我们最常用的三大件：Pandas, Seaborn, Matplotlib, 并且读取数据

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

df = pd.read_csv("./pokemon_data.csv")

首先我们观察一下数据的尺寸，可以通过 df.shape 这个来实现。当然 df.info() 能够给我们更加详细的每个列的信息。这里我们通过这个方式，可以发现这个数据集一共收录了801行，41列的数据。说明一共有801只宝可梦，每只宝可梦我们有41个特征来描述它们。
然 后 就 迎 来了我们的第一个问题：这么多特征，是否会有数据缺失呢？毕竟有些宝可梦比较神秘感，就连大木博士都不一定知道。这里我们可以通过如下代码来观察每个特征的缺失情况：

# 计算出每个特征有多少百分比是缺失的
percent_missing = df.isnull().sum() * 100 / len(df)
missing_value_df = pd.DataFrame({
    'column_name': df.columns,
    'percent_missing': percent_missing
})
# 查看Top10缺失的
missing_value_df.sort_values(by='percent_missing',ascending=False).head(10) 

通过查看以上数据，我们可以发现，type2 这个字段缺失的比率最高，达到了 48% 左右。说明超过半数的宝可梦还是单纯的只有一个属性，剩下一般的则具有两种属性。

然后第二个问题就是：这么多宝可梦，每代分别有几只？这里我们可以通过简单的 df[‘generation’].value_counts() 来得到。但是为了更加直观的表现出不同代的宝可梦的数量差别，这里我们可以用pandas自带的画图的功能来绘制一个柱状图：通过查看以上数据，我们可以发现，type2 这个字段缺失的比率最高，达到了 48% 左右。说明超过半数的宝可梦还是单纯的只有一个属性，剩下一般的则具有两种属性。

然后第二个问题就是：这么多宝可梦，每代分别有几只？这里我们可以通过简单的 df[‘generation’].value_counts() 来得到。但是为了更加直观的表现出不同代的宝可梦的数量差别，这里我们可以用pandas自带的画图的功能来绘制一个柱状图：

# 查看每个系口袋妖怪的数量
df['type1'].value_counts().sort_values(ascending=True).plot.barh()  

这里我们可以看到，数量最多的宝可梦是水系，然后是普通，然后是草系。虫系只排在了第四，并没有和预期中那样那么多。

看完了基础的一些分布，接下来我会想做一些简单的相关性分析。我们可以通过以下的代码生成相关性图

# 相关性热力图分析
plt.subplots(figsize=(20,15))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

来了解不同特征之间的关联，这对我们了解宝可梦的特性很有帮助。比如通过观察 attack 这一个特征和 height_m 是正相关的，我们可以得出：越高的宝可梦，攻击力越高。但是再看 height_m，我们会发现它和 base_happiness 是负相关的。这个时候我们可以作出另外一个结论：长得高的宝可梦可能都不太开心。

接下来我们从宝可梦在实战中的角度来分析这组数据。这里我们只关注六个基础值：血量，攻击力，防御力，特攻，特防，速度。因为只有这六个基础值决定了一只宝可梦的战斗力在不考虑派系克制的情况下。

interested = ['hp','attack','defense','sp_attack','sp_defense','speed']
sns.pairplot(df[interested]) 

这里我们可以看到大部分都是成正比例的，一个值的提高往往会拉高另外一个值。这点我们通过相关性热力图也可以看到

# 通过相关性分析heatmap分析五个基础属性
plt.subplots(figsize=(10,8))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df[interested].corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values,
            annot=True, fmt="f",cmap="YlGnBu")

看完这些以后，我们就可以开始计算种族值然后来选取我们的平民神兽了。毕竟不是每个人都能收服代欧奇希斯，超梦，梦幻这种传说级别的宝可梦。这里我们可以通过如下方式，先做一个特征类型转化，然后再计算

for c in interested:
    df[c] = df[c].astype(float)
df = df.assign(total_stats = df[interested].sum(axis=1)) 

这样我们就完成了用 total_stats 这个字段来存储种族值这一特征。我们可以做个柱状图可视化来看看种族值的分布是什么样的：

# 种族值分布
total_stats = df.total_stats
plt.hist(total_stats,bins=35)
plt.xlabel('total_stats')
plt.ylabel('Frequency')

同时我们还可以根据不同的属性来看：

# 不同属性的种族值分布
plt.subplots(figsize=(20,12))
ax = sns.violinplot(x="type1", y="total_stats",
                    data=df, palette="muted")

找到非传说宝可梦但是种族值达到了的传说宝可梦级别的
最后我们就可以通过简单的过滤和排序来找到我们应该去捕捉的宝可梦了：
df[(df.total_stats >= 570) & (df.is_legendary == 0)][‘name’].head(10)

学习拓展

作为童年玩Pokemon长大的孩子，经历了火焰版、叶绿版、红宝石、蓝宝石、绿宝石，五个版本的GBA游戏洗礼，对于Pokemon有着深深的情怀，看到有这么一个数据集，试试看，看看分析出来的东西和我所想是不是一样的。

1.数据整理和查看

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
import pyecharts
#echart只是为了一个比较酷炫的雷达图
%matplotlib notebook
#notebook模式更方便图片的导出 

2.读取数据

data = pd.read_csv('pokemon_list.csv')
data.head()

基本看出只有350个有类别2的属性，大部分为单一属性精灵，191个有第二种类的蛋，对于两种属性的缺失值，都是统一属性的多分类，可用第一分类作为填充。
#缺失值处理策略为前一列种类填充后一列
#缺失值处理策略为前一列种类填充后一列

 #缺失值处理策略为前一列种类填充后一列   
 data['Type_2'] = data['Type_2'].fillna(value = data['Type_1'])
 data['Egg_Group_2'] = data['Egg_Group_2'].fillna(value =     data['Egg_Group_1'])

3.数据分析

3.1种类分析

Type_pd=pd.concat([data.Type_1,data.Type_2],axis=1)

#计算出第一种类的数量加上第二种类数量
Type_count = data.Type_2.value_counts() + data.Type_1.value_counts()
Type_count.sort_values(ascending = False)