如何利用pandas解析html的表格数据

如何利用pandas解析html的表格数据

我们在编写爬虫的过程中，经常使用的就是parsel、bs4、pyquery等解析库。在博主的工作中经常的需要解析表格形式的html页面，常规的写法是，解析table表格th作为表头，解析td标签作为表格的行数据 。循环tr标签生成一个列表，在与th做映射整理称字典的格式，存入list中。那么有一种更为方便的方法就是使用pandas 只需要一行代码就可以完成常见表格的编写。案例如下：

我们现在使用pandas获取这个链接的table信息

import requests

resp = requests.get("https://www.medchemexpress.cn/c18-ceramide.html")

response = resp.text
info = pd.read_html(response,attrs={"id":"con_one_1"})
print(info)
for inf in info:
    print(inf.values)

运行结果如下：表格数据直接就被解析成一个二元列表，每一个列表就是一个tr标签 每个列表值就是一个td.

只需要指定html文件以及指定页面的table；attrs={}用来定位解析的table数据这边是id="con_one_1"的table;

只需要for循环就可以转换成字典了；

更多使用技巧，请查阅pandas文档

今天的分享pandas解析table;

本文由mdnice多平台发布