不少对爬虫有所了解但却不会的人应该会知道,爬虫功能非常强大,但却不是太好学!但是,pandas中的read_html()用于抓取Table表格型数据时,简直是个神器。不信?我小露一手给你们看。
针对网页结构类似的表格类型数据,pd.read_html()就派上了大用场了,它可以将网页上的表格都抓取下来,并以DataFrame的形式装在一个列表中返回。具体是这么个流程:
网页URL→发送请求→网站→返回→DataFrame
先介绍一下 read_html()的一些主要的参数
read_html
io:str or file-like
接收网址、文件、字符串。网址不接受 https,尝试去掉 s后爬去
header:int or list-like or None
指定列标题所在的行
attrs: dict or None, optional
传递一个字典,用其中的属性筛选出特定的表格
parse_dates:bool
解析日期
接下来以爬取新浪财经的基金重仓股为例演示一下,URL为:http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p=1
这部分有6页,点击不同的页数可以发现&