Python爬虫第三方库requests

最新推荐文章于 2024-06-13 23:55:30 发布

foolprogrammer

最新推荐文章于 2024-06-13 23:55:30 发布

阅读量35

点赞数

文章标签： python 爬虫开发语言

本文链接：https://blog.csdn.net/foolprogrammer/article/details/130623045

版权

pip show requests
import requests
url='http://jd.com'           #提供目标网页网址
response=requests.get(url)     #获取网页的数据信息并保存到变量html
response.text #打印网页的原始数据状态
print(response.text) #打印网页的html编写格式
response.encoding #猜测的编码方式
'utf-8'
response.apparent_encoding #根据网页内容分析出的编码方式
'utf-8'
response.encoding=response.apparent_encoding #将分析后的编码方式赋给预测编码方式
response.status_code#返回网页的状态码：200正常，404不正常
200
import requests
kv={'user-agent':'Mozilla/5.0'}#创建伪装用户代理服务器，防反爬虫
url='https://item.jd.com/10054034809904.html'
try:
    r=requests.get(url,headers=kv)
    r.encoding=r.apparent_encoding#将分析的编码作为备选编码方式
    print(r.text[:1000])#打印开始0-1000个字符
except:
    print('爬取失败')