Python requests库

最新推荐文章于 2024-05-22 14:55:11 发布
最新推荐文章于 2024-05-22 14:55:11 发布
阅读量382 收藏
点赞数
分类专栏： python 文章标签： Python

requests

请求

get请求

import requests
response= requests.get('http://httpbin.org/get')
print(response.text)

结果

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "origin": "113.105.12.153, 113.105.12.153", 
  "url": "https://httpbin.org/get"
}

带参数的get请求

第一种：
在url后面添加参数用&分隔，?开头

import requests
response= requests.get('http://httpbin.org/get?name=germey&age=22')
print(response.text)

结果

{
  "args": {
    "age": "22", 
    "name": "germey"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "origin": "113.105.12.153, 113.105.12.153", 
  "url": "https://httpbin.org/get?name=germey&age=22"
}

第二种
用参数params

import requests

data={
    'name':'germey',
    'age':'22'
}
response= requests.get('http://httpbin.org/get',params=data)
print(response.text)

解析json

import requests
import json

response= requests.get('http://httpbin.org/get')
print(type(response.text))
print(response.json())
print(json.loads(response.text))
print(type(response.json()))

结果

<class 'str'>
{'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.18.4'}, 'origin': '113.105.12.153, 113.105.12.153', 'url': 'https://httpbin.org/get'}
{'args': {}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.18.4'}, 'origin': '113.105.12.153, 113.105.12.153', 'url': 'https://httpbin.org/get'}
<class 'dict'>

获取二进制数据（用于图片，视频这些）

用.content来获取

import requests

response=requests.get('http://github.com/favicon.ico')
print(type(response.text))
print(type(response.content))
print(response.text)
print('------------------------------------------------------------------------------------------------------------------------')
print(response.content)

结果：

<class 'str'>
<class 'bytes'>
	:�������OL������������������!������4@���8���
��������333���t�
------------------------------------------------------------------------------------------------------------------------
b'\x00\x00\x01\x00\x02\x00\x10\x10\x00\x00\x01\x00 \x00(\x05\x00\x00&\x00\x00\x00  \x00\x00\x01\x00 \x00(\x14\x00\x00N\x05\x00\x00(\x00\x00\x00\x10\x00\x00\x00 \x00\x00\x00\x01\x00 \x00\x00\x00\x00\x00\x00\x05\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x11\x11\x13v\x13\x13\x13\xc5\x0e\x0e\x0e\x12\x00\x00\x00\x00\x00\x00\x00\x00\x0f\x0f\x0f\x11\x11\x11\x14\xb1\x13\x13\x13i\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x14\x14\x14\x96\x13\x13\x14\xfc\x13\x13\x14\xed\x00\x00\x00\x19\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x18\x15\x15\x17\xff\x15\x15\x17\xff\x11\x11\x13\x85\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x11\x11\x12\xc1\x13\x13\x14\xee\x11\x11\x11\x1e\x10\x10\x10\x10\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\r\x13\x13\x14\xf5\x15\x15\x17\xff\x15\x15\x17\xff\x11\x11\x14\xaf\x00\x00\x00\x00\x00\x00\x00\x00\

添加headers

import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'    
}
response=requests.get('https://www.zhihu.com/explore',headers=headers)
print(response.text)

基本post请求

import requests

data={
    'name':'yyy',
    'age':'22'
    
}
response=requests.post('http://httpbin.org/post',data=data)
print(response.text)

结果：

{
  "args": {}, 
  "data": "", 
  "files": {}, 
  "form": {
    "age": "22", 
    "name": "yyy"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "15", 
    "Content-Type": "application/x-www-form-urlencoded", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "113.105.12.153, 113.105.12.153", 
  "url": "https://httpbin.org/post"
}

响应

import requests
	
response= requests.get('http://www.jianshu.com')
print(type(response.status_code),response.status_code)#状态码
print(type(response.headers),response.headers)#状态头
print(type(response.cookies),response.cookies)#cookies
print(type(response.url),response.url)#url
print(type(response.history),response.history)#历史

结果：

<class 'int'> 200
<class 'requests.structures.CaseInsensitiveDict'> {'Server': 'Tengine', 'Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Connection': 'keep-alive', 'Date': 'Tue, 19 Mar 2019 08:48:54 GMT', 'Vary': 'Accept-Encoding', 'X-Frame-Options': 'DENY', 'X-XSS-Protection': '1; mode=block', 'X-Content-Type-Options': 'nosniff', 'ETag': 'W/"d0830a3c7fc5a13fae8c3a870d272b00"', 'Cache-Control': 'max-age=0, private, must-revalidate', 'Set-Cookie': 'locale=zh-CN; path=/', 'X-Request-Id': 'c88f2f0b-c443-471e-9a3d-ac0d442e955b', 'X-Runtime': '0.008843', 'Strict-Transport-Security': 'max-age=31536000; includeSubDomains; preload', 'Content-Encoding': 'gzip', 'Via': 'cache10.l2cm12[21,0], cache4.cn838[83,0]', 'Timing-Allow-Origin': '*', 'EagleId': '6e34c49815529853346494291e'}
<class 'requests.cookies.RequestsCookieJar'> <RequestsCookieJar[<Cookie locale=zh-CN for www.jianshu.com/>]>
<class 'str'> https://www.jianshu.com/
<class 'list'> [<Response [301]>]

状态码的判断

import requests

response=requests.get('http://httpbin.org')
exit() if not response.status_code ==200 else print('response success')#这里是if not 意思是条件成立不执行exit(),而是执行print语句

高级操作

文件上传

import requests

files={'files':open('C:/Users/hanson/Desktop/1/maoyantop100.txt','rb')}
response=requests.post('http://httpbin.org/post',files=files)
print(response.text)

结果

	{
  "args": {}, 
  "data": "", 
  "files": {
    "files": "{\"index\": \"1\", \"image\": \"https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c\", \"title\": \"\u9738\u738b\u522b\u59ec\", \"star\": \"\u5f20\u56fd\u8363,\u5f20\u4e30\u6bc5,\u5de9\u4fd0\", \"time\": \"1993-01-01\", \"score\": \"9.5\"}\r\n{\"index\": \"2\", \"image\": \"https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c\", \"title\": \"\u8096\u7533\u514b\u7684\u6551\u8d4e\", \"star\": \"\u8482\u59c6\u00b7\u7f57\u5bbe\u65af,\u6469\u6839\u00b7\u5f17\u91cc\u66fc,\u9c8d\u52c3\u00b7\u5188\u987f\", \"time\": \"1994-10-14(\u7f8e\u56fd)\", \"score\": \"9.5\"}\r\n{\"index\": \"3\", \"image\": \"https://p0.meituan.net/movie/289f98ceaa8a0ae737d3dc01cd05ab052213631.jpg@160w_220h_1e_1c\", \"title\": \"\u7f57\u9a6c\u5047\u65e5\", \"star\": \"\u683c\u5229\u9ad8\u91cc\u00b7\u6d3e\u514b,\u5965\u9edb\u4e3d\u00b7\u8d6b\u672c,\u57c3\u8fea\u00b7\u827e\u4f2f\u7279\", \"time\": \"1953-09-02(\u7f8e\u56fd)\", \"score\": \"9.1\"}\r\n{\"index\": \"4\", \"image\": \"https://p1.meituan.net/movie/6bea9af4524dfbd0b668eaa7e187c3df767253.jpg@160w_220h_1e_1c\", \"title\": \"\u8fd9\u4e2a\u6740\u624b\u4e0d\u592a\u51b7\", \"star\": \"\u8ba9\u00b7\u96f7\u8bfa,\u52a0\u91cc\u00b7\u5965\u5fb7\u66fc,\u5a1c\u5854\u8389\u00b7\u6ce2\u7279\u66fc\", \"time\": \"1994-09-14(\u6cd5\u56fd)\", \"score\": \"9.5\"}\r\n{\"index\": \"5\", \"image\": \"https://p1.meituan.net/movie/b607fba7513e7f15eab170aac1e1400d878112.jpg@160w_220h_1e_1c\", \"title\": \"\u6cf0\u5766\u5c3c\u514b\u53f7\", \"star\": \"\u83b1\u6
	     }, 
  "form": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Content-Length": "24892", 
    "Content-Type": "multipart/form-data; boundary=ba6fe455654d405a8c2ebb90fae56547", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "json": null, 
  "origin": "113.105.12.153, 113.105.12.153", 
  "url": "https://httpbin.org/post"

}
获取cookie

import requests

response=requests.get('https://www.baidu.com')
print(response.cookies)
for key,value in response.cookies.items():#cookies是一个列表形式
    print(key+'='+value)

会话维持
模拟登陆

import requests

s=requests.Session()#Session对象发起两次请求，在同一个浏览器
s.get('http://httpbin.org/cookies/set/number/123456789')
response=s.get('http://httpbin.org/cookies')
print(response.text)

结果：

{
  "cookies": {
    "number": "123456789"
  }
}

证书验证

第一种

import requests
from requests.packages import urllib3

urllib3.disable_warnings()   #消除警告
response=requests.get('https://www.12306.cn',verify=False) #用verify=False来不验证证书
print(response.status_code)

第二种

import requests

response=requests.get('https://www.12306.cn',cert=('/path/server.crt','/path/key')) 用cert把证书地址写进去
print(response.status_code)

代理设置

使用proxies参数
第一种：直接找代理

import requests

proxies={
    'http':'123.207.247.86:9999'
    
}
response=requests.get('http://httpbin.org/get',proxies=proxies)
print(response.text)

结果

{
  "args": {}, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate", 
    "Host": "httpbin.org", 
    "User-Agent": "python-requests/2.18.4"
  }, 
  "origin": "123.207.247.86, 123.207.247.86", 
  "url": "https://httpbin.org/get"
}

超时设置
使用参数timeout

	import requests
	from requests.exceptions import ReadTimeout
	try:
	    response=requests.get('http://httpbin.org/get',timeout=0.1)
	    print(response.text)
	except ReadTimeout:
	    print('TIME OUT')

第二种：购买代理

在这里插入图片描述

proxyaddr = '116.196.18.250'  # 代理的IP地址
proxyport = '16816'  # 代理的端口号
proxyuser = '9339855'  # 代理的账号
proxypasswd = 'y4r83bg3'  # 代理的密码
	
    proxies = {
        "http": "http://%s:%s@%s:%s" % (proxyuser, proxypasswd, proxyaddr, proxyport)

    }

认证设置
访问某个网站需要认证

import requests

response=requests.get('http://120.27.34.24:9001',auth('user','123'))

异常处理

百度搜索‘requests’的api看下异常的抛出请求是什么
一般需要from requests.exceptions import xxx,xxx,xxx,xxx

SeeUa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python中requests库
既然选择远方，便只顾风雨兼程！
02-28 5万+
文章目录requests库一、 基本概念1、 简介2、 获取3、 http 协议3.1 URL3.2 常用 http 请求方法二、 使用方法1、 基本语法requests 库中的方法2、 具体使用方法2.1 get2.1.1 基本语法2.1.2 常用参数2.2 post2.2.1 基本语法2.2.2 常用参数2.3 response2.4 **head**2.4.1 基本语法2.5 put requests库 一、 基本概念 1、 简介 requests 模块是 python 基于 urllib，采用 A
Python 数据获取（一）—— request模块、变量使用与传参方式
热门推荐
Hehuyi_In的博客
06-11 1万+
服务端渲染：在页面源代码中能看到数据，直接、简单，但数据通常没什么格式，需要想办法匹配。客户端渲染：在页面源代码不能看到数据，需要第二次请求，但是它的数据通常是json或者固定格式的，处理方便。所以本质上，两种渲染方式对爬取各有优劣 这个headers指的是html的头信息（绿框），这部分信息是给浏览器看的。人看的是body部分（蓝框）。打开一个网页，例如豆瓣电影 https://movie.douban.com/top250按 F12抓包，刷新一下页面，这个headers部分就是了。
【Python快速上手（二十九）】- Python requests 模块详解
最新发布
qq_38641481的博客
05-22 1402
Python的requests模块是一个用于发送HTTP请求的流行库，它比内置的urllib库更易用且功能强大。requests模块提供了简单的API，可以处理复杂的HTTP请求，处理Cookie、会话、重定向等功能。本文将详细讲解requests模块的基本用法、发送请求、处理响应、会话管理、异常处理和实际应用案例。requests模块是一个用于发送HTTP请求的第三方库，支持HTTP/1.1，并且具有良好的支持和文档。要使用requests模块，首先需要安装它：pip install requests
❤️2万字带你走进python爬虫requests库，史上最全！！❤️
biyesheji1000的专栏
10-23 3901
4.1 requests 库简介 Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询字串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库，requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。 ❖ 1Keep-Alive
python爬虫之——request基础
小西瓜的博客
04-21 2268
python爬虫之——requestrequest库一、request库的安装二、 request库的七个主要方法1. requests.request（）:构造一个方法【其他六个方法的实现都是通过调用该方法实现的】2.requests.get():获取HTML网页的主要方法（对应于HTTP的GET）【常用MAX】3.requests.head():获取HTML网页的头信息的方法（对应于HTTP的...
自动化测试之（1）---python requests库详解
qq_19956683的博客
08-17 3094
Python requests库接口自动化中是普遍使用的第三方库，本文主要介绍requests的常用方法、属性及在接口自动化测试中的二次封装调用。
python requests库
09-30
**Python Requests库** 在Python编程中，Requests库是用于发送HTTP请求的一个非常强大的工具，它由Kenneth Reitz开发，旨在使HTTP请求变得简单易用。这个库支持各种HTTP方法，如GET、POST、PUT、DELETE等，以及方便...
Python requests库用法实例详解
09-20
安装完成后，就可以在Python程序中导入requests库进行使用。 创建HTTP请求是requests库的核心功能。最基本的GET请求可以通过`requests.get()`函数实现，如以下示例所示： ```python import requests result = ...
python requests库爬取豆瓣电视剧数据并保存到本地详解
09-18
总的来说，这个教程详细介绍了如何使用Python的requests库爬取豆瓣电视剧数据，并通过JSON解析和文件操作将数据保存到本地文本文件。这不仅涵盖了HTTP请求的基本操作，还涉及到了网络爬虫的常见步骤，包括URL构造、...
Python Requests库基本用法示例
09-20
主要介绍了Python Requests库基本用法,结合实例形式总结分析了Python Requests库安装、请求发送与响应、文件下载、重定向等相关操作技巧及注意事项,需要的朋友可以参考下
Python模块介绍-requests
遛遛马，务务农
06-12 2846
requests模块介绍
python模块 — requests
个人博客
03-02 3998
Python 的 requests 库是一个常用的 HTTP 请求库，可以轻松发送各种 HTTP 请求（如 GET、POST、PUT、DELETE 等）。它简化了编写 HTTP 客户端的代码，并且支持 SSL 和连接池等特性。下面是 requests 库中常用的一些方法：requests.get(url, params=None, **kwargs)：发送 GET 请求并返回响应对象。
高手进阶篇！Python爬虫requests库(附案例)
Python_2332的博客
05-30 1127
Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库， requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。
Python爬虫基础之Requests详解
程序园@大Null
10-27 1433
围绕 Requests 库展开讲解的爬虫教程。
Python之Requests库使用总结
2301_77645750的博客
12-12 1443
作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。
Python——requests模块详解
m0_72557783的博客
12-06 7714
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
史上最全，Python爬虫requests库。你必须得会。
weixin_68789096的博客
10-23 1780
Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库， requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。❖ 1Keep-Alive & 连接池❖ 国际化域名和 URL。
Python中requests库的用法详解
feng的博客
07-19 3506
requests是使用Apache2 licensed 许可证的HTTP库。比urllib模块更简洁。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
快速入门Python Requests库的实战指南
Python Requests库是用于处理HTTP请求的高效工具，它的使用方法简洁明了，适用于快速开发和自动化网络请求。本文将引导你快速入门Requests库，假设你已经安装了它。如果没有，首先要确保安装并保持更新。 安装与...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值