导论
想了解世界谁最有钱吗?维基百科有专门的网页来描述世界最有钱的人。当然,为了快速和精确定位符合预期的结果,用Python来爬取网页并分析是一个不错的办法。
但你知道吗?Python中用于执行Web爬网的两个广泛使用的库,BeautifulSoup和Scrapy用起来很麻烦,甚至作诗说“难于上青天”。
为什么呢?因为需要从网页里找到元素标签,然后根据它们提取文本,再清洗数据。而且在这个过程中会遇到各种各样的坑。让初涉其中的同学苦恼不已。“我不就看看有哪些富豪吗?算了,还是用人眼看吧。”
有没有几行就能搞定抓取并分析的办法呢?
常用Python进行数据分析的同学可能不知道,手里使用的熟练工具Pandas却隐藏了精于数据爬取的独家绝技。本文将向您展示如何使用Pandas直接爬取表格数据的简便方法。
用Pandas爬取网页,并轻松结构化
本文将从Wikipedia Page提取世界十大亿万富翁的详细信息。(维基百科(Wikipedia),是一个基于维基技术的多语言百科全书写作计划,用多种语言编写的网络百科全书。非营利组织维基媒体基金会负责营运维基百科,接受捐赠。2018年12月,维基百科入围2018世界品牌500强。)
下面将使用read_html的Pandas库的方法读取HTML表。
import pandas as pdurl ='https://zh.wikipedia.org/wiki/The_World%27s_Billionaires'df_list = pd.read_html(url)
该脚本爬取指定链接,并将HTML表返回,并结构化到DataFrame的列表中。
真正的王者,不在于千万般闪亮动作。一个小动作就能完成其他工具库几十行的功能,Pandas,我服了!
接下来查看找到的数据总数:
len(df_list)Output:32
要访问特定的表,只需访问列表的该元素。例如,df_list[2]将返回下表:
进阶玩法之一把世界富豪们做个排名
上面只是介绍pandas的常规玩法,其实可以使用index_col参数来选择表索引的特定列。这里按第二列财富进行排名,从而实现将抓取的世界富豪排名。
例:
pd.read_html(url,index_col = 1)[2]
返回下表:
从中看到亚马逊的Jeff Bezos已经成为当仁不让的首富了,第一名了。
进阶玩法之二用自然语言描述来实现自动统计返回
当然,这个题目有点人工智能的味道,但实际并不是这么智能。呵呵,大家原谅下标题党。
这个功能是利用match参数指定返回包含特定字符串或正则表达式的表的列头,从而实现返回对应列头的数据列表功能。
例:
pd.read_html(url, match='Number and combined net worth of billionaires by year')[0].head()
是不是太神奇了!pandas如何实现的这个功能呢? 看看对应原始网页大家就应该明白了。
太牛了!pandas直接抓取相对应文本标题的表格并结构化输出。
进阶玩法之三其他参数
skiprows 参数允许我们跳过起始的" n"行
header 参数可用于使指定的行作为列标题
例:
pd.read_html(url,skiprows = 3,header = 0)[0] .head()
结论
在本文中,从了解世界富豪排名出发,学习了如何使用pandas的read_html方法轻松地从页面抓取HTML表并进行解析。随后,对read_html一些重要参数也进行讲解,借助这些参数可以进一步让我们轻松抓取所需的内容。
Pandas,不仅仅是数据分析的王者,也是爬虫世界的扫地僧啊。