用Python进行数据分析项目实战之福布斯系列文章,目前已发布的相关文章如下:
在上篇文章中,介绍了使用python爬取福布斯全球上市企业2000强排行榜(Forbes Global 2000)数据的思路和步骤。
在获取数据后,首先需要对获得的数据的完整性情况进行检查,主要查看数据是否有缺失、是否有重复、是否有数据错位或其他异常情况。
数据完整性检查也包括不同数据来源的对比,以及其他一些常识性的知识。
当然,在拿到数据的初期,其实只能做一个初步的判断,有些内容是在整个分析过程中发现的。
1 每年企业数量检查
福布斯全球上市企业2000强排行榜,企业数量应该是2000家,或者稍微多几家(因为排名可能相同,会增加少量企业)。
所以首先需要检查这个排行榜上每年的企业数量,如果明显多余2000家或者少于2000家企业,则说明获得的数据可能异常。
在使用Python分析时,可以用Pandas来进行检查,使用 DataFrame.shape就可以查看企业数量。
下面以2007年的数据为例来介绍。 代码如下