2020-09-22

本文主要来自阿里云AI训练营python的宝可梦数据分析
主要掌握三大库：Pandas, Seaborn, Matplotlib。Pandas是基于NumPy提供高性能易用数据类型和分析工具，Seaborn是基于Matplotlib的图形可视化python包，Matplotlib是python的绘图库。其实基础还有NumPy
第一步：下载数据，读取数据（引入模块是必须的）

!wget -O pokemon_data.csv https://pai-public-data.oss-cn-beijing.aliyuncs.com/pokemon/pokemon.csv
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
df = pd.read_csv("./pokemon_data.csv")

第二步：观察样本数据的基本情况（缺失值情况）

df.head()
df.info()
# 计算出每个特征有多少百分比是缺失的
percent_missing = df.isnull().sum() * 100 / len(df) #缺失值加总除以样本列的长度*100
missing_value_df = pd.DataFrame({
    'column_name': df.columns,
    'percent_missing': percent_missing
})                                          #把列名与缺失值比例作为DataFrame
# 查看Top10缺失的
missing_value_df.sort_values(by='percent_missing', ascending=False).head(10)

第三步：单独特征行的“代数”查看每个宝可梦的数量

# 查看各代口袋妖怪的数量
df['generation'].value_counts().plot.bar()

# 查看每个系口袋妖怪的数量
df['type1'].value_counts().sort_values(ascending=True).plot.barh()

第四步：相关性分析热力图

# 相关性热力图分析
plt.subplots(figsize=(20,15))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df.corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values)

第五步：拿出6个基本指标去量化，并相关性分析利用热力图

interested = ['hp','attack','defense','sp_attack','sp_defense','speed']
sns.pairplot(df[interested])
# 通过相关性分析heatmap分析五个基础属性
plt.subplots(figsize=(10,8))
ax = plt.axes()
ax.set_title("Correlation Heatmap")
corr = df[interested].corr()
sns.heatmap(corr, 
            xticklabels=corr.columns.values,
            yticklabels=corr.columns.values,
            annot=True, fmt="f",cmap="YlGnBu")

第六步：根据基本指标加总得到总值（其实也可以进一步加权赋值）

for c in interested:
    df[c] = df[c].astype(float)
df = df.assign(total_stats = df[interested].sum(axis=1)) 
# 种族值分布
total_stats = df.total_stats
plt.hist(total_stats,bins=35)
plt.xlabel('total_stats')
plt.ylabel('Frequency')

第七步总值与标准做对比，选取神兽

df[df.total_stats>=525].shape

不同属性的种族值分布

# 不同属性的种族值分布
plt.subplots(figsize=(20,12))
ax = sns.violinplot(x="type1", y="total_stats",
                    data=df, palette="muted")