Python爬虫教程27：秀啊！用Pandas 也能爬虫？？

陈序不懂程序

于 2024-04-20 11:30:00 发布

阅读量489

点赞数 22

文章标签： python 爬虫 pandas 人工智能开发语言

本文链接：https://blog.csdn.net/Trb201012/article/details/137786244

版权

本文介绍了Python中的pandas库read_html函数，用于高效抓取网页表格数据，包括如何使用该函数读取网页、解析表格，以及在实际项目中的应用示例，如爬取百度百科世界500强企业和杭州空气质量数据。

摘要由CSDN通过智能技术生成

说到爬虫，大家可能都知道requests、re、scrapy、selenium等等一些工具库。虽然它低调，但功能非常强大，用于抓取Table表格型数据时，简直是个神器，没有必要去F12研究HTML页面结构甚至写正则表达式解析字段。

1. pandas.read_html爬虫的步骤：

**读取网页：**使用pandas的read_html函数读取网页。read_html函数可以从网页中读取多个表格，并将它们存储为DataFrame对象的列表。

**解析表格：**使用pandas的read_html函数解析表格数据。

**2.适用范围：**只能爬取，特定含有 Table 结构的网页数据，如下所示。


<table class="..." id="...">
     <thead>
     <tr>
     <th>...</th>
     </tr>
     </thead>
     <tbody>
        <tr>
            <td>...</td>
        </tr>
        <tr>...</tr>
        <tr>...</tr>
        ...
        <tr>...</tr>
        <tr>...</tr>        
    </tbody>
</table>