使用read_html爬取网页表哥,Python笔记：用read_html()爬取table形式表格的网络数据...

不少对爬虫有所了解但却不会的人应该会知道，爬虫功能非常强大，但却不是太好学！但是，pandas中的read_html()用于抓取Table表格型数据时，简直是个神器。不信？我小露一手给你们看。

针对网页结构类似的表格类型数据，pd.read_html()就派上了大用场了，它可以将网页上的表格都抓取下来，并以DataFrame的形式装在一个列表中返回。具体是这么个流程：

网页URL→发送请求→网站→返回→DataFrame

先介绍一下 read_html()的一些主要的参数

read_html

io：str or file-like

接收网址、文件、字符串。网址不接受 https，尝试去掉 s后爬去

header：int or list-like or None

指定列标题所在的行

attrs: dict or None, optional

传递一个字典，用其中的属性筛选出特定的表格

parse_dates：bool

解析日期

接下来以爬取新浪财经的基金重仓股为例演示一下，URL为：http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p=1

这部分有6页，点击不同的页数可以发现&