阿里云天池task4学习笔记

Python基础入门：从0完成一个宝可梦数据分析实战-Task4-阿里云天池
〇、整体的学习感受
本篇数据分析实战的文案写得十分接地气，以一个大家都耳熟能详的卡通游戏ID作为范本素材，并且将数据分析的流程、目的和方法都巧妙地和游戏背景结合，但是，本人可能对宝可梦不是那么了解，所以看起来还是有点吃力。。。哈哈

一、具体的学习内容
0、研究背景
数据时代的到来刷新了人们探索未知的方式，从基础能源建设到航天航空工程。在关都地区真新镇大木研究所一直孜孜不倦对精灵宝可梦进行研究的大木博士也不例外，在剧中我们就常常可以看到大木博士制作的精灵图鉴一直在给探险家们提供宝可梦的简单分析，包括宝可梦的身高，体重，特性等等。但是作为从小就向往前往大木博士研究所成为宝可梦联盟最强训练师/宝可梦研究大师的我，仅仅是分析单个宝可梦的数据远远满足不了我的需求。

与其他探险家旅游挑战道馆的方式不同，我决定通过使用数据分析的方式来帮助我更好的了解宝可梦这种神奇的生物，然后再选择最经济实惠，简单好抓的宝可梦来挑战联盟。通过使用搜索引擎，我找到了一份包含着从第一代到第七代共801只宝可梦的数据集。

1、研究目的
根据以上的研究背景，提炼出我们通过数据分析想要达到的目的，即：选择最经济实惠，简单好抓的宝可梦来挑战联盟

2、数据集的下载
 

!wget -O pokemon_data.csv https://pai-public-data.oss-cn-beijing.aliyuncs.com/pokemon/pokemon.csv

3、前期准备工作

然后我们import我们最常用的三大件：Pandas, Seaborn, Matplotlib, 并且读取数据。

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

4、数据初探

df.head() # 读取表格数据的前5行

首先我们观察一下数据的尺寸，可以通过df.shape这个来实现。当然**df.info()**能够给我们更加详细的每个列的信息。这里我们通过这个方式，可以发现这个数据集一共收录了801行，41列的数据。说明一共有801只宝可梦，每只宝可梦我们有41个特征来描述它们。

5、缺失值的处理
然后就迎来了我们的第一个问题：这么多特征，是否会有数据缺失呢？毕竟有些宝可梦比较神秘感，就连大木博士都不一定知道。这里我们可以通过如下代码来观察每个特征的缺失情况：

# 计算出每个特征有多少百分比是缺失的
percent_missing = df.isnull().sum() * 100 / len(df) # 计算缺失数据的比例
missing_value_df = pd.DataFrame({
    'column_name': df.columns,
    'percent_missing': percent_missing
}) # 自己从新设计一个表格
missing_value_df.sort_values(by='percent_missing', ascending=False).head(10) # 我们查看一下缺失值的top10

通过查看以上数据，我们可以发现，type2这个字段缺失的比率最高，达到了48%左右。说明超过半数的宝可梦还是单纯的只有一个属性，剩下一般的则具有两种属性。

6、数据可视化

然后第二个问题就是：这么多宝可梦，每代分别有几只？这里我们可以通过简单的 df[‘generation’].value_counts()来得到。但是为了更加直观的表现出不同代的宝可梦的数量差别，这里我们可以用pandas自带的画图的功能来绘制一个柱状图：

# 查看各代口袋妖怪的数量
df['generation'].value_counts().sort_values(ascending=False).plot.bar()

不难发现，宝可梦数量最多的是在第5代，最少的是在第6代。然后我们再来看不同的主属性的分布。这里我们可以先做一些简单的假设，比如虫属性的宝可梦种类比较多因为在剧中出现的频率相当高，而且有很多种进化。