requests 库

最新推荐文章于 2024-08-02 11:05:19 发布

code_stream

最新推荐文章于 2024-08-02 11:05:19 发布

阅读量186

点赞数 1

分类专栏： # 爬虫文章标签：爬虫

本文链接：https://blog.csdn.net/code_stream/article/details/140003023

版权

爬虫专栏收录该内容

4 篇文章 0 订阅

订阅专栏

快速上手

import requests

# 定制请求头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',  # 标识浏览器的详细信息，包括名称、版本、操作系统等
    'Accept': '*/*',  # 指定客户端接受的数据类型，可以是文本、HTML、XML、JSON等
    'Accept-Encoding': 'gzip, deflate',  # 指定客户端可以接受的压缩编码类型
    'Connection': 'keep-alive',  # 指定客户端和服务器之间的连接类型
    'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6',  # 指定客户端接受的语言类型和优先级
    'Cookie': 'username=John; password=abcde12345',  # 用于客户端和服务器之间传递会话信息，如用户登录状态等
    'Cache-Control': 'no-cache',  # 指定客户端的缓存策略
}

# 发送get请求
r = requests.get('https://www.douban.com/', timeout=1.5, headers=headers)

# 查看请求头
print('请求头:\n{')
for key, value in r.request.headers.items():
    print(f'\t{key}: {value}')
print('}\n')

# 查看响应头
print('响应头:\n{')
for key, value in r.headers.items():
    print(f'\t{key}: {value}')
print('}\n')

# 设置编码格式以便解码
r.encoding = 'utf-8'

# 查看响应内容
print(r.text)