通过Pandas模块也可以实现简单的爬虫。主要使用Pandas的read_html方法,该方法用于导入带有table标签的网页表格数据,语法如下:
pandas.read_html(io,match='.+',flavor=None,header=None,index_col=None,skiprows=None,attrs=None,parse_dates=False,thousands=',',encoding=None,decimal='.',converters=None,na_values=None,keep_default_na=True,displayed_only=True)
主要参数说明:
- io:字符串,文件路径,也可以是URL链接。网址不接受https,可以尝试去掉https中的s后爬取,如http://www.mingribook.com。
- match:正则表达式,返回与正则表达式匹配的表格。
- flavor:解析器默认为“lxml”。
- header:指定列标题所在的行,列表list为多重索引。
- index_col:指定行标题对应的列,列表list为多重索引。
- encoding:字符串,默认为None,文件的编码格式。
- 返回值:返回一个DataFrame。
使用read_html方法前,首先要确定网页表格是否为table类型。例如,NBA球员薪资网页&#x