Python爬虫第三方库requests

最新推荐文章于 2024-07-23 14:36:35 发布

foolprogrammer

最新推荐文章于 2024-07-23 14:36:35 发布

阅读量37

点赞数

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/foolprogrammer/article/details/130623045

版权

该文演示了如何使用Python的requests库获取网页内容。首先，通过requests.get方法获取URL的HTML，然后讨论了response对象的text属性、encoding属性和apparent_encoding属性在处理网页编码时的作用。此外，还展示了设置user-agent头来防止被网站的反爬虫机制阻拦的基本方法。

摘要由CSDN通过智能技术生成

pip show requests
import requests
url='http://jd.com'           #提供目标网页网址
response=requests.get(url)     #获取网页的数据信息并保存到变量html
response.text #打印网页的原始数据状态
print(response.text) #打印网页的html编写格式
response.encoding #猜测的编码方式
'utf-8'
response.apparent_encoding #根据网页内容分析出的编码方式
'utf-8'
response.encoding=response.apparent_encoding #将分析后的编码方式赋给预测编码方式
response.status_code#返回网页的状态码：200正常，404不正常
200
import requests
kv={'user-agent':'Mozilla/5.0'}#创建伪装用户代理服务器，防反爬虫
url='https://item.jd.com/10054034809904.html'
try:
    r=requests.get(url,headers=kv)
    r.encoding=r.apparent_encoding#将分析的编码作为备选编码方式
    print(r.text[:1000])#打印开始0-1000个字符
except:
    print('爬取失败')