python爬虫之 BeautifulSoup4库 content和text

本文介绍了BeautifulSoup4在Python爬虫中的使用,包括如何安装、创建BeautifulSoup对象,以及通过.response.content和.response.text获取网页内容的方法。重点讨论了.content返回的bytes类型数据需要解码显示的问题。
摘要由CSDN通过智能技术生成

介绍:

BeautifulSoup 是一个HTML/XML的解析器,主要的功能是如何解析和提取 HTML/XML 数据;

Beautiful Soup 会载入整个文档,解析整个DOM树。

安装:

安装Beautiful Soup 4 版本

安装命令:

pip install beautifulsoup4

首先发起一个get请求,得到一个response

response = requests.get(url,headers=headers)

打印response类型 

print(type(response))
# <class 'requests.models.Response'>

是Response对象 ,Response对象里面有响应头(内容类型,内容长度,服务器信息,设置Cookie等;相应体(最重要的部分,包含请求资源的内容,如网页HTML,图片,二进制数据等);

获取响应体里最重要的部分使用    .content    .text

———————————————————————————————————————————

response.content
打印它的类型

print(type(content))
#<class 'bytes'>
</
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值