Python数据分析（第十天）：从0完成一个数据分析实战（1天）

记录一下学习过程

学习链接
这次是用一个很有意思的宝可梦例子开始引入。
所用到的工具为：
Pandas, Seaborn, Matplotlib

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

df = pd.read_csv("./pokemon_data.csv")

数据的尺寸，可以通过 df.shape 这个来实现。

可以通过如下代码来观察每个特征的缺失情况：

# 计算出每个特征有多少百分比是缺失的
percent_missing = df.isnull().sum() * 100 / len(df)
missing_value_df = pd.DataFrame({
    'column_name': df.columns,
    'percent_missing': percent_missing
})
# 查看Top10缺失的
missing_value_df.sort_values(by='percent_missing', ascending=False).head(10)

宝可梦，每代分别有几只？这里我们可以通过简单的 df[‘generation’].value_counts() 来得到。但是为了更加直观的表现出不同代的宝可梦的数量差别，这里我们可以用pandas自带的画图的功能来绘制一个柱状图：

# 查看各代口袋妖怪的数量
df['generation'].value_counts().plot.bar()

了解不同特征之间的关联

# 相关性热力图分析
plt.subplots(figsize=(20,15))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

这里我们只关注六个基础值：血量，攻击力，防御力，特攻，特防，速度。因为只有这六个基础值决定了一只宝可梦的战斗力在不考虑派系克制的情况下。

interested = ['hp','attack','defense','sp_attack','sp_defense','speed']
sns.pairplot(df[interested])
# 通过相关性分析heatmap分析五个基础属性
plt.subplots(figsize=(10,8))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df[interested].corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values,
            annot=True, fmt="f",cmap="YlGnBu")

看完这些以后，我们就可以开始计算种族值然后来选取我们的平民神兽了。毕竟不是每个人都能收服代欧奇希斯，超梦，梦幻这种传说级别的宝可梦。这里我们可以通过如下方式，先做一个特征类型转化，然后再计算

for c in interested:
    df[c] = df[c].astype(float)
df = df.assign(total_stats = df[interested].sum(axis=1)) 
# 种族值分布
total_stats = df.total_stats
plt.hist(total_stats,bins=35)
plt.xlabel('total_stats')
plt.ylabel('Frequency')

同时我们还可以根据不同的属性来看：

# 不同属性的种族值分布
plt.subplots(figsize=(20,12))
ax = sns.violinplot(x="type1", y="total_stats",
                    data=df, palette="muted")

最后我们就可以通过简单的过滤和排序来找到我们应该去捕捉的宝可梦了：

df[(df.total_stats >= 570) & (df.is_legendary == 0)]['name'].head(10)