03-requests模块携带UA请求头，携带参数，携带cookie，持久化存储

最新推荐文章于 2024-05-31 14:39:15 发布

gemoumou

最新推荐文章于 2024-05-31 14:39:15 发布

阅读量2.2k

点赞数 2

分类专栏： python爬虫开发学习文章标签： python ajax cookie json

本文链接：https://blog.csdn.net/qq_37978800/article/details/108110021

版权

本文介绍了Python requests模块的基础用法，包括如何在请求中添加用户代理（UA）、参数、cookie。详细阐述了如何在无痕模式下观察网络请求，理解服务器如何设置cookie。同时，解释了响应对象的重要属性，如URL、状态码、响应头等。还探讨了cookie在爬虫中的作用，展示了未携带和携带cookie请求的差异，并提供了一个自动获取cookie的案例——爬取雪球网动态加载的咨询数据。

摘要由CSDN通过智能技术生成

reques模块的基础使用方法

chrome浏览器使用方法了解新建隐身窗口的目的，了解chrome中network的使用

1，新建隐身窗口（无痕窗口）
在这里插入图片描述

浏览器中直接打开网站，会自动带上之前网站保存的cookie，但是在爬虫中首次获取页面是没有携带cookie的
使用无痕窗口，首次打开网站，不会带上cookie，能够观察页面的获取情况，包括对方服务器如何设置cookie在本地
2，chrome中network的更多功能

携带请求头
在这里插入图片描述

携带请求参数
params 将字典或字节序列，作为参数添加到url中，get形式的参数
data 将字典或字节序列，作为参数添加到url中，post形式的参数
在这里插入图片描述
response响应对象

response.url 响应的url：有时候响应的url和请求的url并不一致
response.text 响应体 str类型
respones.content 响应体 bytes类型
response.status_code 响应状态码
response.request.headers 响应对应的请求头
response.headers 响应头
response.request.cookies 响应对应请求的cookie
response.cookies 响应的cookie（经过了set-cookie动作）
response.json() 自动将json字符串类型的响应内容转换为python对象（dict or list）

# -*- coding: utf-8 -*-
import requests # 调用requests模块

url = "https://www.baidu.com/s" # 目标网站url
headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari