Python网络爬虫案例实战：静态网页爬取：获取响应内容

最新推荐文章于 2024-09-13 20:40:29 发布

andyyah晓波

最新推荐文章于 2024-09-13 20:40:29 发布

阅读量221

点赞数 3

分类专栏： Python网络爬虫案例实战文章标签： python 爬虫 android

本文链接：https://blog.csdn.net/andyyah/article/details/141068501

版权

Python网络爬虫案例实战专栏收录该内容

31 篇文章 0 订阅

订阅专栏

Python网络爬虫案例实战：静态网页爬取：获取响应内容

3.5获取响应内容

在Requests中，可以通过r.text来获取网页的内容。例如：

>>> import requests
>>> r = requests.get('https://www.baidu.com')
>>> r.text
'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç\x99¾åº¦ä¸\x80ä¸\x8bï¼\x8cä½\xa0å°±ç\x9f¥é\x81\x93</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s clas

在 Requests中，还会自动将内容转码，大多数 unicode字体都会无缝转码。此外，还可以通过r.content来获取页面内容。

>>> r = requests.get('https://www.baidu.com')
>>> r.content
b'<!DOCTYPE html>\r\n<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>\xe7\x99\xbe\xe5\xba\xa6\xe4\xb8\x80\xe4\xb8\x8b\xef\xbc\x8c\xe4\xbd\xa0\xe5\xb0\xb1\xe7\x9f\xa5\xe9\x81\x93</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrappe