导论
想了解世界谁最有钱吗?维基百科有专门的网页来描述世界最有钱的人。当然,为了快速和精确定位符合预期的结果,用Python来爬取网页并分析是一个不错的办法。
但你知道吗?Python中用于执行Web爬网的两个广泛使用的库,BeautifulSoup和Scrapy用起来很麻烦,甚至作诗说“难于上青天”。
为什么呢?因为需要从网页里找到元素标签,然后根据它们提取文本,再清洗数据。而且在这个过程中会遇到各种各样的坑。让初涉其中的同学苦恼不已。“我不就看看有哪些富豪吗?算了,还是用人眼看吧。”
有没有几行就能搞定抓取并分析的办法呢?
常用Python进行数据分析的同学可能不知道,手里使用的熟练工具Pandas却隐藏了精于数据爬取的独家绝技。本文将向您展示如何使用Pandas直接爬取表格数据的简便方法。
andas直接爬取表格数据的简便方法
用Pandas爬取网页,并轻松结构化
本文将从Wikipedia Page提取世界十大亿万富翁的详细信息。(维基百科(Wikipedia),是一个基于维基技术的多语言百科全书写作计划,用多种语言编写的网络百科全书。非营利组织维基媒体基金会负责营运维基百科,接受捐赠。2018年12月,维基百科入围2018世界品牌500强。)
下面将使用read_html的Pandas库的方法读取HTML表。
import pandas as pdurl ='