网络爬虫之解析网页【BeautifulSoup】

最新推荐文章于 2024-08-12 17:13:59 发布

张润红

最新推荐文章于 2024-08-12 17:13:59 发布

阅读量693

点赞数 1

文章标签：网络爬虫之解析网页【BeautifulSoup】

本文链接：https://blog.csdn.net/Zhangrunhong/article/details/103005059

版权

本文介绍了如何在Python中安装和使用BeautifulSoup4进行网页解析，包括lxml解析器的安装。接着，文章详细讲解了内容遍历的三种方法，并通过实例展示了如何爬取《猫眼电影》和《最好大学网》的排行榜数据。

摘要由CSDN通过智能技术生成

文章目录

1、Python(lxml解析器,BeautifulSoup4安装)

Beautiful Soup 4.4.0 文档
https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/
安装BeautifulSoup4
在这里插入图片描述
安装成功了

当然我们要配置lxml解析器一起用下面来安装下

2、Python内容遍历三种方法

在这里插入图片描述
代码如下：

"""
使用BeautifulSoup
"""
from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>

<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href=