Python3.7 爬虫（二）使用 Urllib2 与 BeautifulSoup4 抓取解析网页

最新推荐文章于 2024-09-13 20:10:53 发布

NeverSettle101

最新推荐文章于 2024-09-13 20:10:53 发布

阅读量1.2w

点赞数 1

分类专栏：爬虫 python

本文链接：https://blog.csdn.net/qq_21265915/article/details/69809798

版权

版权声明：本文为 wintersmilesb101 -（个人独立博客– http://wintersmilesb101.online 欢迎访问）博主原创文章，未经博主允许不得转载。

开篇

上一篇中我们通过原生的 re 模块已经完成了网页的解析，对于熟悉正则表达式的童鞋来说很好上手，但是对于萌新来说，还是有一定难度以及复杂度的，那么这里我们就来使用第三方解析包来解析获取到的网页吧。

BeautifulSoup

官方的 BeautifulSoup 是这样的：

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。

而且这个支持多种解析方式，以及解析方式中也可以加上正则表达式来过滤结果，是不是已经迫不及待要试试这个第三方库了？
那么看看官方中文文档，如果看不到超链的：http://beautifulsoup.readthedocs.io/zh_CN/latest/ ，或者看看这篇博文，地址 : http://cuiqingcai.com/1319.html