python爬虫学习记录（2）基本库的使用——requests

最新推荐文章于 2023-03-29 10:24:23 发布
最新推荐文章于 2023-03-29 10:24:23 发布
阅读量1.2k 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45540609/article/details/118674629
版权

一、基本用法

urllib库中的urlopen方法实际是用GET方式请求网页，而requests中相应的方法是get（）

我们用get方法实现与urlopen相同的操作，得到一个response对象，分别输出response类型，状态码，响应体以及cookie

import requests

r = requests.get('https://www.baidu.com')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)

<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸ä¸ class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ°é»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å°å¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é¢</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½</a>');
                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ´å¤äº§å</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å³äºç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使ç¨ç¾åº¦åå¿è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æè§åé¦</a>&nbsp;京ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>

 返回类型：request.models.Response，响应体类型是字符串str，cookie类型是RequestCookieJar。

1、GET请求

（1）基本实例

import requests

r = requests.get('http://httpbin.org/get')
print(r.text)

 结果如下：

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.24.0",
    "X-Amzn-Trace-Id": "Root=1-60ebe5c4-6925bea60abee1c828f14eb3"
  },
  "origin": "117.139.13.214",
  "url": "http://httpbin.org/get"
}

可以用字典存储get传参，cookie，user-agent同理。url被自动构造传参了。

import requests

dic = {
    'name' : 'alice',
    'age' : '22'
}
r = requests.get('http://httpbin.org/get',params=dic)
print(r.text)

{
  "args": {
    "age": "22",
    "name": "alice"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.24.0",
    "X-Amzn-Trace-Id": "Root=1-60ebe721-6e0fc0b159bb912070bbc378"
  },
  "origin": "117.139.13.214",
  "url": "http://httpbin.org/get?name=alice&age=22"
}

 或者可以直接把r.text()转换成r.json()，这个方法可以把返回格式是json的字符串转换成字典。注意之争对返回格式是json的。

（2）抓取网页

import requests
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
}
r = requests.get('https://www.zhihu.com/explore', headers=headers)
pattern = re.compile('explore-feed.*?question_link.*?>(.*?)</a>'.re.S)
titles = re.findall(pattern,r.text)
print(titles)

（3）抓取二进制文件

import requests
import re

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
}
r = requests.get('https://pic3.zhimg.com/100/v2-641ebdf8fc236df74769ada646e7c7ea_hd.png', headers=headers)
with open ('v2-641ebdf8fc236df74769ada646e7c7ea_hd.png','wb') as p:#wb是写入
    p.write(r.content)

2、POST请求

import requests

data = {
    'name': 'alice',
    'age': '22'
}
r = requests.get('http://www.httpbin.org/post', data=data)
print(r.text)

这里被服务器端请求错误405了，所以无法访问

3、响应

可以使用text和content获取响应内容（text是现成的字符串，content还要编码，但是text不是所有时候显示都正常，这是就需要用content进行手动编码），还可以通过status_code，headers，cookie获取响应码、响应头、cookie

可以使用状态码判断请求是否成功。内置状态码查询对象request.codes

import requests
url = 'http://www.jianshu.com'
r = requests.get(url)
print('error') if not r.status_code == requests.codes.ok else print('Successfully')

最后返回error

二、高级用法

1、文件上传

import requests
url = 'https://www.jianshu.com/post'
files = {
    'file': open('v2-641ebdf8fc236df74769ada646e7c7ea_hd.png','rb')#二进制文件读取
}
r = requests.post(url,files=files)
print(r.text)

图片需要与脚本同在一个文件夹下。

2、cookies

查看cookie

import requests
url = 'http://www.baidu.com'
r = requests.get(url)
print(r.cookies)
for key, value in r.cookies.items():
    print(key+':'+value)

<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
BDORZ:27315

设置cookie

import requests
headers = {
    'Cookie': '_zap=b3a366d5-cf1c-4012-9679-9161e9ab43ca; d_c0="APBVwM_ohRGPTtoe3teAlasSjQt2OiPsGH8=|1593824285"; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1625817562,1626073290,1626079791,1626080322; _ga=GA1.2.1483948118.1593824287; q_c1=064c8f5591884afdac9030d50d1d83b9|1607858480000|1595600252000; _xsrf=gnD5Rhh92uR6qxjTcYP2KbpKLWJMBlTb; __snaker__id=KbZ6SfS9e8i07e4H; gdxidpyhxdE=zk9WrUxuSv88l2mBYd0ouJ28ga%5CnzJf%2Blrt%5CKnBQE%5C46VxxdjG%2FjkHExxO5muLxnhahIAsGAE%2BmrauHbaWwL4QL5Vu4KIVa6n3IqTaMxQEtsGAX%2BocxlCssU4VLeMVhVek1MXLfcHvWfNRBlxkymUs%5C8oZIRjqZrr0iigWHs9T5ymRes%3A1617783942511; _9755xjdesxxd_=32; YD00517437729195%3AWM_NI=dExqBpUy7E82KtnEbBnS5F089FrpCyKqNhAk2HqROqUZ0DayY%2F4ZYVqB3Q96hRM89D3W6a0s374SZzNLzi7Nq6q6vpl9gasewqhwby%2FNg5f5tAdXDZOYTB1njMCC%2B3QTYXQ%3D; YD00517437729195%3AWM_NIKE=9ca17ae2e6ffcda170e2e6ee83ca74b1aebfa3c44e988e8ab2c45f969b9baef1688ea785b0d56d909da092cc2af0fea7c3b92aa89bb892c17c97a7f9a6bb3a89aca2a6e14aae8dfba7b334fb9abe91c27389af8289c461f298bfb3ce7b978600a5e4739bf1fcbbdc5eb39efdb2bc3eac8e83d9bc50f189fa82b379f1e9fcb4d9728e94b68ab646b3eabfd7f57cb0e7a982f26fb5afa898e173ed92a9d6e53fb89facb9c7528d879ca3b466aa938da4aa39938c97b9d437e2a3; YD00517437729195%3AWM_TID=vAQwTtExnEtBUUQQUAN7lMnPeV0eDbqI; z_c0="2|1:0|10:1617783074|4:z_c0|92:Mi4xTjRyYUFnQUFBQUFBOEZYQXotaUZFU1lBQUFCZ0FsVk5JcmRhWVFDZ0ViVVo5Q2ZuUGlWQmZQUnNIMl9SbHZaRDRR|ba139c1aa2f549eb3db6d08703cb78d71d0d11d8996c651d340961588c24d4c5"; KLBRSID=fe0fceb358d671fa6cc33898c8c48b48|1626080324|1626079790; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1626080322; SESSIONID=gfDRt4UGh9vVlKgCV3Xw5lFr8T2E6HoVYCZtsdLLuTn; JOID=Vl4WCkpvMMQ4SPqoK2L3WgL_2iY9ClOKYjnM-GYCC7dkLLTNbSw7KlVP_acpeCEIhNojDRnII9trN-8qth4ClAU=; osd=VlwQBE9vMsI2TfqqLWzyWgD51CM9CFWEZznO_mgHC7ViIrHNbyo1L1VN-6kseCMOit8jDx_GJttpMeEvthwEmgA=; tst=r',
    'Host': 'www.zhihu.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
}
url = 'https://www.zhihu.com'
r = requests.get(url,headers=headers)
print(r.text)

可以访问到登录后的结果页面，就说明成功了

也可以使用cookie参数设置，可以构造RequestCookieKar对象，需要用split（）分割，set（）设置cookie的key和value，get（）传递给cookie参数即可

import requests

url = 'https://www.zhihu.com'
cookie = 'zap=b3a366d5-cf1c-4012-9679-9161e9ab43ca; d_c0="APBVwM_ohRGPTtoe3teAlasSjQt2OiPsGH8=|1593824285"; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1625817562,1626073290,1626079791,1626080322; _ga=GA1.2.1483948118.1593824287; q_c1=064c8f5591884afdac9030d50d1d83b9|1607858480000|1595600252000; _xsrf=gnD5Rhh92uR6qxjTcYP2KbpKLWJMBlTb; __snaker__id=KbZ6SfS9e8i07e4H; gdxidpyhxdE=zk9WrUxuSv88l2mBYd0ouJ28ga%5CnzJf%2Blrt%5CKnBQE%5C46VxxdjG%2FjkHExxO5muLxnhahIAsGAE%2BmrauHbaWwL4QL5Vu4KIVa6n3IqTaMxQEtsGAX%2BocxlCssU4VLeMVhVek1MXLfcHvWfNRBlxkymUs%5C8oZIRjqZrr0iigWHs9T5ymRes%3A1617783942511; _9755xjdesxxd_=32; YD00517437729195%3AWM_NI=dExqBpUy7E82KtnEbBnS5F089FrpCyKqNhAk2HqROqUZ0DayY%2F4ZYVqB3Q96hRM89D3W6a0s374SZzNLzi7Nq6q6vpl9gasewqhwby%2FNg5f5tAdXDZOYTB1njMCC%2B3QTYXQ%3D; YD00517437729195%3AWM_NIKE=9ca17ae2e6ffcda170e2e6ee83ca74b1aebfa3c44e988e8ab2c45f969b9baef1688ea785b0d56d909da092cc2af0fea7c3b92aa89bb892c17c97a7f9a6bb3a89aca2a6e14aae8dfba7b334fb9abe91c27389af8289c461f298bfb3ce7b978600a5e4739bf1fcbbdc5eb39efdb2bc3eac8e83d9bc50f189fa82b379f1e9fcb4d9728e94b68ab646b3eabfd7f57cb0e7a982f26fb5afa898e173ed92a9d6e53fb89facb9c7528d879ca3b466aa938da4aa39938c97b9d437e2a3; YD00517437729195%3AWM_TID=vAQwTtExnEtBUUQQUAN7lMnPeV0eDbqI; z_c0="2|1:0|10:1617783074|4:z_c0|92:Mi4xTjRyYUFnQUFBQUFBOEZYQXotaUZFU1lBQUFCZ0FsVk5JcmRhWVFDZ0ViVVo5Q2ZuUGlWQmZQUnNIMl9SbHZaRDRR|ba139c1aa2f549eb3db6d08703cb78d71d0d11d8996c651d340961588c24d4c5"; KLBRSID=fe0fceb358d671fa6cc33898c8c48b48|1626080324|1626079790; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1626080322; SESSIONID=gfDRt4UGh9vVlKgCV3Xw5lFr8T2E6HoVYCZtsdLLuTn; JOID=Vl4WCkpvMMQ4SPqoK2L3WgL_2iY9ClOKYjnM-GYCC7dkLLTNbSw7KlVP_acpeCEIhNojDRnII9trN-8qth4ClAU=; osd=VlwQBE9vMsI2TfqqLWzyWgD51CM9CFWEZznO_mgHC7ViIrHNbyo1L1VN-6kseCMOit8jDx_GJttpMeEvthwEmgA=; tst=r'
jar = requests.cookies.RequestsCookiejar()
headers = {
    'Host': 'www.zhihu.com',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0'
}

for cookie in cookie:
    key,value = cookie.split('=',1)
    jar.set(key,value)
r = requests.get(url, headers=headers)
print(r.text)

3、会话维持

import requests

url = 'http://www.httpbin.org/cookies/set/number/1234567'
s = requests.Session()
s.get(url)
r = s.get('http://www.httpbin.org/cookies')
print(r.text)

{
  "cookies": {
    "number": "1234567"
  }
}

设定一个url去请求，并且设置cookie。我们先请求一个测试网站，设置一个cookie，名叫number，内容是1234567，又添加了一个http://www.httpbin.org/cookies来获取当前cookie。记住要用session获取。

4、SSL证书验证

requests提供证书验证机制，发送HTTP请求时，会检查SSL证书，可以使用verify参数控制是否检查了此证书。不添加verify，默认是true，会自动验证。

5、代理设置

大规模爬取，网站可能会弹出验证码，或者转到登录认证页面，或者直接封ip，导致无法访问。我们可以通过设置代理来解决问题，需要用到proxies参数。

import requests

procies ={
    "http": "http://10.10.1.10:3128",
    "https": "https://10.10.1.10:1080",
}

requests.get("https://www.baidu.com",proxies=proxies)

如果需要使用HTTP Basic Auth，可以使用类似的http://user:password@host:port这样的语法设置代理

import requests

proxies ={
    "http": "http://user:password@10.10.1.10:3128",
}

requests.get("https://www.baidu.com",proxies=proxies)

requests还支持socks协议的代理，需要先用pip安装socks这个库

import requests

proxies ={
    "http": "socks5//user:password@10.10.1.10:3128",
}

requests.get("https://www.baidu.com",proxies=proxies)

6、超时设置

本机网络状况不太好时，可能等待很久才得到响应，甚至由于收不到响应而报错。为了防止服务器不能及时响应，应该设置超时时间，超过规定时间没有响应就报错。需要用到timeout参数。

import requests

r= requests.get("http://www.baidu.com",timeout =1)
print(r.status_code)

timeout为连接和读取两个时间的总和，如果要分别制定连接和读取的时间，就传入一个元组

import requests

r= requests.get("http://www.baidu.com",timeout =(5,11,30))
print(r.status_code)

如果要永久等待，直接不设置timeout，或者设置成None

7、身份认证

如果遇到网页访问需要身份认证机制，可以使用requests自带的身份认证功能。

import requests
from requests.auth import HTTPBasicAuth

r= requests.get("http://xxx.xxx.xxxxx",auth=HTTPBasicAuth('username','password'))
print(r.status_code)

也可以使用如下方式，不用再传入一个类

import requests

r= requests.get("http://www.baidu.com",auth=('username','password'))
print(r.status_code)

requests还提供了OAuth认证，不过还需要pip安装oauth，pip3 install requests_oauthlib

import requests
from requests_oauthlib import OAuth1

url= 'https://api.twitter.com/1.1/account/versify_credentials.json'
auth = OAuth1('YOUR_APP_KEY','YOUR_APP_SECRET','USER_OAUTH_TOKEN','USER_OAUTH_TOKEN_SECRET')
requests.get(url,auth=auth,timeout=1)

9、Prepared Request

请求可以表达为一个数据结构，各个参数可以通过一个request对象来表示。

requests 在发送请求的时候在内部构造了一个 Request 对象，并给这个对象赋予了各种参数，包括 url、headers、data ，等等。然后直接把这个 Request 对象发送出去，请求成功后会再得到一个 Response 对象，再解析即可。

这个requests就是prepared request

from requests import Request,Session

url = 'http://httpbin.org/post'
data = {
    'name': 'hellen',
}
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0',
}
s = Session()
req = Request('POST',url,data=data,headers=headers)
prepped = s.prepare_request(req)
r = s. send(prepped)
print(r.text)

首先引入Request，用url，data，headers构造Request对象，这时需要调用Session的prepared_request()方法将其转换成为一个Prepared Request对象，调用send()方法发送即可。

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "name": "hellen"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Content-Length": "11",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0",
    "X-Amzn-Trace-Id": "Root=1-60f2279a-729eaf7970b9f15f6732c921"
  },
  "json": null,
  "origin": "118.114.194.5",
  "url": "http://httpbin.org/post"
}

这样可以达到POST一样的效果。有了Request对象，可以把请求当做独立的对象看待，进行队列调度时会更方便。

玛卡巴卡巴巴亚卡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python网络请求库requests的使用
蛐蛐的博客
09-07 301
1.get请求 import requests result = requests.get('https://baidu.com') print(str(result.status_code)) GET / HTTP/1.1 Host: www.baidu.com User-Agent: python-requests/2.24.0 Accept-Encoding: gzip, deflate Accept: */* Connection: keep-alive 2.post表单请求 .
python爬虫初认识requests库中的Request对象和Response对象
Maystyle的博客
02-16 1586
首先分析一段简短十分初级的爬虫代码 >>>import requests >>>r=requests.get("http://www.baidu.com") >>>print(r.status_code) 200 >>>type(r) <class 'requests.models.Response'> 当import requests库时会在内部生成Request对象，此类的方法如下： get方法通过url参数返回一个
Pyhon : 爬虫Requests高级用法--准备的请求 （Prepared Request）
weixin_44523387的博客
06-01 4252
准备的请求 （Prepared Request） 当你从 API 或者会话调用中收到一个 Response 对象时，request 属性其实是使用了 PreparedRequest。有时在发送请求之前，你需要对 body 或者 header （或者别的什么东西）做一些额外处理，下面演示了一个简单的做法： from requests import Request, Session s = Sessi...
python网络请求的库_Python网络请求库的使用请求,python,requests
weixin_35412669的博客
02-04 117
1.get请求import requestsresult = requests.get('https://baidu.com')print(str(result.status_code))GET / HTTP/1.1Host: www.baidu.comUser-Agent: python-requests/2.24.0Accept-Encoding: gzip, deflateAccept: *...
python requests
m0_49025459的博客
03-25 1294
import requests url = 'http://www.baidu.com' response = requests.get(url) print(type(response))#返回<class 'requests.models.Response'> print(response)#返回<Response [200]>也是响应状态码 response.encoding='utf-8'#设置响应的编码格式如果这个不设置下面的字符串形式的web代码也是乱码 print.
Python爬虫入门——Requests库
12-23
学习爬虫之前呢，最好要对HTTP协议有了解，我前面有写过几篇关于HTTP协议的文章，建议读者阅读一下，对爬虫帮助很大。 1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑...
Python爬虫学习记录（1）——BeautifulSoup爬取天气信息
12-21
在本篇《Python爬虫学习记录（1）——BeautifulSoup爬取天气信息》中，我们将学习如何使用Python的BeautifulSoup库来抓取特定网站上的天气信息。BeautifulSoup是一个用于解析HTML和XML文档的库，它提供了强大的导航...
python爬虫学习笔记（二）——解析内容
01-20
requests库则需格外安装，但是个人感觉requests使用更简洁方便 标签解析 Beautiful Soup库的安装（Beautiful Soup库是解析、遍历、维护“标签树”的功能库）： 按WIN键+R键打开运行，输入cmd后回车进入命令提示符 ...
python学习——爬虫requests库入门学习
09-26
为学习爬虫requests库的同学们，留下的尝试代码。方便大家学习与尝试。
Python爬虫 requests库实践
01-20
文章目录Python爬虫（二）—— requests库实践 ——1.京东商品页面的爬取2. 实例3：百度360搜索关键词提交3. 网络图片的爬取和存储 1.京东商品页面的爬取 import requests url = ...
Python爬虫——Requests 库基本使用
万里顾一程的博客
08-19 1734
Requests 库简介Requests 库是在 urllib 模块的基础上开发而来，继承了urllib.request的所有特性。Requests 采用了 Apache2 Licensed（一种开源协议）的 HTTP 库，支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的URL和POST数据自动编码。与urllib.request 相比，Requests 在使用时更加简洁方便、快捷，所以 Requests 库在编写爬虫程序时使用较多。....
21天学习挑战赛——Python爬虫 requests库
小浪宝宝的博客
08-15 475
1.requests模块概述​​1.requests模块概述本文主要介绍requests的http模块，该模块主要用于发送请求获取响应，该模块有很多的替代模块，比如urlib模块，但是工作中用的最多的还是requests模块，requests模块的代码简洁、易懂，相对于臃肿的urlib模块，使用requests编写的爬虫代码数量会更少，而且实现某一功能会简单。2.requests常用属性或方法requests常用属性或方法方法/属性说明发送请求获取的响应对象（最常用）...
Python 网络爬虫从0到1 （1）：Requests库入门详解
Zheng__Huang的博客
09-13 2万+
Python 网络爬虫从0到1 （1）：Requests库入门详解   网络爬虫中，网络请求是基础部分。没有网络请求以及响应，网络爬虫的后续数据分析也就失去了意义。Python中的网络请求，主要由Requests库来完成，本篇，我们就来一起认识一下Requests库及其基本使用方法。 Requests库简介   Requests库是一个简洁而优雅的Python第三方库，更好地贴合人们的使用习惯，故在http类库中，Requests库非常受开发者青睐。Requests库支持Keep-Alive持久化连接
latex 写作
luckyboy101的专栏
08-17 5681
1、下载：http://www.ctex.org/CTeXDownload       错误： 1、 This is BibTeX, Version 0.99d (TeX Live 2012) The top-level auxiliary file: ***.aux I found no \bibdata command---while reading file ***.aux
signature=ae0de8e34b6245c325b1b433d9eb5401,ELMA 德国艾尔玛，机械式增量型编码器， E27-0-21151 AL011...
热门推荐
weixin_36483050的博客
05-29 5万+
产品详情元件型号国家/地区供应商种类总数E27-0-20101AL001US2290E27-0-20101AL001CA1157其他元器件国家/地区供应商种类总数E27-0-21151AL011566270E27-0-21251AE211233168E2702AXF233817E27-0-20151AL01122221E27-0-20051AL011122160E27-0-21101AL00122...
Nginx反爬虫
言之。
02-03 1万+
Nginx反爬 我使用了python中的requests库爬取自己网址的图片 通过while True 循环爬取导致正常客户端无法访问 在nginx的access.log中看到以下记录 117.170.202.207 - - [03/Feb/2021:10:35:06 +0800] "GET /pics/05.jpg HTTP/1.1" 200 326446 "-" "python-requests/2.24.0" "-" 而一个正常的访问应该是 117.170.202.207 - - [03/Feb/2
Python 爬虫 requests 库教程(附案例)
<sdffdsfsdfdfs>sfsfsfsdfsdffds</sdfsDS>Fsd
03-29 894
????????关注后回复“进群”，拉你进程序员交流群????????来源：AI算法科研paper1.requests 库简介Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询串， 也不需要对 POST 数据进行表单编码。相对于 urll...
❤️2万字带你走进python爬虫requests库，史上最全！！❤️
biyesheji1000的专栏
10-23 3898
4.1 requests 库简介 Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询字串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库，requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。 ❖ 1Keep-Alive
HTML5 SVG 特效示例
bingdongguke的专栏
04-18 2774
SVG来生成动画**示例说明： 示例１ 注意viewBox属性可以帮助你设置svg图像大小 -fill属性是否填充 -stroke为绘制，颜色#AAAAAA -stroke-width为绘制线的粗细 -d是具体数据，这里看到的数据代表了坐标，以及折线等等，可以使用工具生成示例２ 在SVG图形中，我们只需要调整stroke-dasharray和stroke-dashoffset即可模拟
大学生 Python爬虫入门指南.pptx
最新发布
09-08
通过学习《大学生 Python爬虫入门指南》，大学生们可以系统地掌握Python爬虫的基础知识和常用工具，能够应用爬虫技术进行数据采集、学术研究、信息监控和网络营销等任务。同时，他们还可以通过进阶内容，提升爬虫的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值