通过Pandas模块也可以实现简单的爬虫。主要使用Pandas的read_html方法,该方法用于导入带有table标签的网页表格数据,语法如下:
pandas
主要参数说明:
- io:字符串,文件路径,也可以是URL链接。网址不接受https,可以尝试去掉https中的s后爬取,如http://www.mingribook.com。
- match:正则表达式,返回与正则表达式匹配的表格。
- flavor:解析器默认为“lxml”。
- header:指定列标题所在的行,列表list为多重索引。
- index_col:指定行标题对应的列,列表list为多重索引。
- encoding:字符串,默认为None,文件的编码格式。
- 返回值:返回一个DataFrame。
使用read_html方法前,首先要确定网页表格是否为table类型。例如,NBA球员薪资网页(http://www.espn.com/nba/salaries),右键单击该网页中的表格,在弹出的菜单中选择“检查元素”,查看代码中是否含有表格标签<table>…</table>的字样,如图所示,确定后才可以使用read_html方法。