说到爬虫,大家可能都知道requests、re、scrapy、selenium等等一些工具库。虽然它低调,但功能非常强大,用于抓取Table表格型数据时,简直是个神器,没有必要去F12研究HTML页面结构甚至写正则表达式解析字段。
1. pandas.read_html爬虫的步骤:
**读取网页:**使用pandas的read_html函数读取网页。read_html函数可以从网页中读取多个表格,并将它们存储为DataFrame对象的列表。
**解析表格:**使用pandas的read_html函数解析表格数据。
**2.适用范围:**只能爬取,特定含有 Table 结构的网页数据,如下所示。
<table class="..." id="...">
<thead>
<tr>
<th>...</th>
</tr>
</thead>
<tbody>
<tr>
<td>...</td>
</tr>
<tr>...</tr>
<tr>...</tr>
...
<tr>...</tr>
<tr>...</tr>
</tbody>
</table>
3.pandas.read_html()函数是一个非常方便的函数,可以用于从HTML文件中提取表格数据。常用的参数用法:
-
io:url、html文本、本地文件等
-
header:标题行
-
flavor:解析器
-
skiprows:跳过的行
-
attrs:属性,例如:attrs = {‘id’:‘table’}
-
parse_dates:解析日期
需要注意的是,该函数返回的结果是DataFrame组成的list,需要最后加上一个索引。当网页中含有多个表格时,可以通过指定header参数来选择需要提取的表格。
4.示例源码1:选取百度百科中的世界500强企业表格
import pandas as pd
url = 'https://baike.baidu.com/item/%E4%B8%96%E7%95%8C500%E5%BC%BA?fromModule=lemma_search-box'
df = pd.read_html(io=url, header=0)[1]
print(df)
**示例源码2:**爬取2023年杭州空气质量数据
import pandas as pd
time_lists = pd.date_range('20230101', '20231101', freq='MS').strftime('%Y%m') # 构造出日期序列 便于之后构造url
print(time_lists, len(time_lists))
for i in range(len(time_lists)):
url = f'http://www.tianqihoubao.com/aqi/hangzhou-{time_lists[i]}.html'
print(f'正在下载第{i+1}页数据,{url}'.center(80, '-'))
tables = pd.read_html(url, encoding='gbk', header=0)[0]
print(tables)
# 保存数据,多页数据,避免重复写入header=False
if i == 0:
tables.to_csv('2023年杭州空气质量数据.csv', mode='a+', index=False)
else:
tables.to_csv('2023年杭州空气质量数据.csv', mode='a+', index=False, header=False)
关于Python学习指南
学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!
包括:Python激活码+安装包、Python web开发,Python爬虫,Python数据分析,人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python!
👉Python所有方向的学习路线👈
Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。(全套教程文末领取)
👉Python学习视频600合集👈
观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
温馨提示:篇幅有限,已打包文件夹,获取方式在:文末
👉Python70个实战练手案例&源码👈
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
👉Python大厂面试资料👈
我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。
👉Python副业兼职路线&方法👈
学好 Python 不论是就业还是做副业赚钱都不错,但要学会兼职接单还是要有一个学习规划。
👉 这份完整版的Python全套学习资料已经上传,朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取【保证100%免费
】
![](https://img-blog.csdnimg.cn/img_convert/d79fe400e5f149173898f0e63349a10b.jpeg)