day02 - 爬虫之requests的基本使用

最新推荐文章于 2022-06-25 11:42:10 发布

小小的圈圈

最新推荐文章于 2022-06-25 11:42:10 发布

阅读量200

点赞数

分类专栏： python爬虫

本文链接：https://blog.csdn.net/qq_36334897/article/details/105099979

版权

本文详细介绍了Python requests库的使用，包括发送GET和POST请求，设置请求头、参数、代理，处理cookie和session，SSL证书验证以及超时设置。还探讨了模拟登录、URL编码解码以及页面重试策略。

摘要由CSDN通过智能技术生成

一、发送get请求

response = requests.get(url,[data=data,parment=parment,header=heder])

import requests

response = requests.get('http://www.baidu.com/')    # 请求百度首页
print(response.status_code)     #返回整型数据

注
①header、parment和data的类型为字典型
②header中传递浏览器的请求头，主要让服务器认为此请求是浏览器客户端发送的，而非程序实现的而发送
③请求返回的response是一个对象

二、响应response常用的方法

response.text
以字符串方式返回响应的内容
respones.content
以字节bytes方式返回响应的内容
response.status_code
返回响应的状态码
response.request.headers
返回请求的头部
response.headers
返回响应的头部
response.request.url
返回请求的url
response.url
返回响应的url
response.cookies
返回响应的cookie值
reqeusts.util.dict_from_cookiejar（response.cookies)
返回响应的cookie值的字典形式

import requests
response = requests.get('http://www.baidu.com')    # 请求百度首页
print(response.content.decode())          #解码响应数据并打印
print(response.status_code)             # 打印响应的状态码
print(response.request.headers)        #打印请求的头部
print(response.headers)               #打印响应的头部
print(response.request.url)          #打印请求的url
print(response.url)                  #打印响应的url
print(response.cookies)             # 打印响应的cookie值  
print( requests.utils.dict_from_cookiejar(response.cookies))  #打印字典形式的cookie值

运行结果

<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=http://s1.bdstatic.com/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <