使用Beautiful Soup解析网页

最新推荐文章于 2023-05-22 14:59:42 发布

Z_凌云

最新推荐文章于 2023-05-22 14:59:42 发布

阅读量812

点赞数 1

分类专栏： Python 文章标签： python pycharm ide

本文链接：https://blog.csdn.net/m0_46983541/article/details/121185526

版权

Python 专栏收录该内容

22 篇文章 7 订阅

订阅专栏

本文介绍了Python库BeautifulSoup的作用，它主要用于从网页中抓取数据。首先，讲解了如何通过PyCharm安装bs4和lxml库，其中lxml提供更强大的解析功能。接着，展示了如何调用BeautifulSoup并使用它解析指定URL的HTML内容，通过select方法获取特定元素的数据。最后，给出了运行结果，显示了抓取的数据。

摘要由CSDN通过智能技术生成

一、“Beautiful Soup”的作用：
“Beautiful Soup”是“Python”的一个库，其主要功能是从网页中抓取数据。
二、相关第三方库的安装：
“Beautiful Soup”目前已经被移植到“bs4”库中，导入“Beautiful Soup”需要先安装bs4库。
（1）、安装“bs4”库类似于“requests”安装：PyCharm中安装requests库
（2）、安装好“bs4”以后还需要安装“lxml”库，方法类似于“bs4”库安装。（不安装lxml库，就会使用Python默认的解析器，但lxml功能更加强大，速度更快。）
在这里插入图片描述
三、“Beautiful Soup”的调用：

from bs4 import BeautifulSoup

四、“Beautiful Soup”的简单使用：
（1）、操作页面：
在这里插入图片描述
（2）、代码：

import requests  #导入requests包
from bs4 import BeautifulSoup #导入eautifulSoup

url='http://www.cntour.cn/'
Strhtml = requests.get(url)  # GET方式，获取网页数据
soup = BeautifulSoup(Strhtml.text,'lxml')
data = soup.select('#main > div > div.mtop.firstMod.clearfix > div.centerBox > ul.newsList > li > a')

print(data)  #数据打印