【python】【爬虫】BeautifulSoup模块快速介绍

最新推荐文章于 2023-09-05 10:07:03 发布

Banana忍冬

最新推荐文章于 2023-09-05 10:07:03 发布

阅读量295

点赞数

分类专栏： python # 爬虫文章标签： python

本文链接：https://blog.csdn.net/BananaChoas/article/details/118660994

版权

本文介绍了BeautifulSoup模块在Python爬虫中的基本用法，包括实例化对象、标签名定位、标签属性定位、Selet()选择器定位以及如何提取标签的属性和文本。通过实例和操作细节，帮助读者理解如何高效地使用该库进行网页内容抓取。

摘要由CSDN通过智能技术生成

用法和Xpath一样，都是基于标签搜索网页源码内容。仅输出格式和写法上的不同，实际效果和应用场景相差不大。

实例化对象

这里使用lxml解析器，把网页源码加载为beautifulsoup对象。可以用本地的html文件或爬取的网页源码传入实例化函数进行解析。

from bs4 import BeautifulSoup
import urllib
url = 'http://www.baidu.com'
data = urllib.request.urlpen(url).read().decode("utf-8","ignore")
# 用lxml解析器把源码data实例化为beautifulsoup对象
soup = BeautifulSoup(data, 'lxml')

标签名定位

直接调用标签名进行定位，返回第一个匹配结果

from bs4 import BeautifulSoup
fh_data = open('test.html', encoding='utf-8')
soup = BeautifulSoup(fh_data, 'lxml')
# 直接调用需要定位的标签
print(soup.p)    # 定位第一个<p>标签
print(soup.li)    # 定位第一个li标签