21天学习挑战赛——Python爬虫 requests库

最新推荐文章于 2024-09-21 16:28:19 发布
最新推荐文章于 2024-09-21 16:28:19 发布
阅读量504 收藏
点赞数
分类专栏： Python基础 文章标签： python requset 爬虫 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52162042/article/details/126343582
版权

​
​

活动地址：CSDN21天学习挑战赛

1.requests模块概述

        本文主要介绍requests的http模块，该模块主要用于发送请求获取响应，该模块有很多的替代模块，比如urlib模块，但是工作中用的最多的还是requests模块，requests模块的代码简洁、易懂，相对于臃肿的urlib模块，使用requests编写的爬虫代码数量会更少，而且实现某一功能会简单。

2.requests常用属性或方法

requests常用属性或方法
方法/属性说明
response = requests.get(url)发送请求获取的响应对象（最常用）
response = requests.post(url)发送请求获取的响应对象
response.url响应的url，有时候响应的url和请求的url不一致
response.satus_code响应状态码，如：200、404
response.request.headers响应对应的请求头
response.headers响应头
response.request.cookies响应对应请求的的cookie，返回cookieJar类型
response.cookies响应的cookie（警告了set-cookie动作，返回cookieJar类型）
response.json()自动将json字符串类型的响应内容转换为Python对象（dic或list）
response.text()返回响应的内容，str类型
response.content返回响应的内容，bytes类型

2.1 应用举例

import requests

#目标网址
url = 'https://www.baidu.com/'
#发送请求获取响应
reponse = requests.get(url) #输出：<class 'requests.models.Response'>
#查看响应对象的类型
print(type(reponse)) #输出：200
#查看响应状态码
print(reponse.status_code) #输出：<class 'str'>
#查看相应的内容的类型
print(type(reponse.text)) #输出：<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
#查看cookies
print(reponse.cookies) #输出：<!DOCTYPE html>
#查看响应的内容
print(reponse.text)
#输出：<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸ä¸ class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ°é»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å°å¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é¢</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½</a>');
#                </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ´å¤äº§å</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å³äºç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使ç¨ç¾åº¦åå¿è¯»</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>æè§åé¦</a>&nbsp;京ICPè¯030173å·&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

​2.2 response.text和response.content的区别

response.text ：

  • 类型：str
  • 解码类型：requests模块自动根据http头部对响应的编码作出有根据的推测，推测的文本编码

response.content ：

  • 类型：bytes
  • 解码类型：没有指定，执行挑选

通过对response.content进行decode，来解决中文源码：

  • response.content.decode() ：默认utf-8
  • response.content.decode('GBK')

常见的编码字符如下：

  • uft-8
  • gbk
  • gb2312
  • asci(读音：阿斯克码)
  • iso-8859-1

应用举例： 

import requests

#目标网址
url = 'https://www.baidu.com/'
#发送请求获取响应
reponse = requests.get(url) #输出：<class 'requests.models.Response'>
#手动设置编码格式
reponse.encoding = 'utf-8'
#打印源代码的str类型
print(reponse.text)
#输出：
# <!DOCTYPE html>
# <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');
#                 </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
#response.content是存储的bytes类型的响应数据，进行decode操作
print(reponse.content.decode('utf-8'))
#输出：
# <!DOCTYPE html>
# <!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>百度一下，你就知道</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>新闻</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>贴吧</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');
#                 </script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产品</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>&copy;2017&nbsp;Baidu&nbsp;<a href=http://www.baidu.com/duty/>使用百度前必读</a>&nbsp; <a href=http://jianyi.baidu.com/ class=cp-feedback>意见反馈</a>&nbsp;京ICP证030173号&nbsp; <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>

2.3 发送带Headers参数请求

函数格式：requests.get(url, headers=headers)

参数说明：

  • url为请求网址
  • headers参数接收字典形式的请求头，请求头字段名为key，字段对应的值为value

获取请求头：

 用法举例：

import requests

#目标网址
url = 'https://blog.csdn.net/m0_52162042?spm=1000.2115.3001.5343'
#构建请求头，最重要的是user-Agent
#如果需要其他请求，就在headers字典中加上
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'}
#发送请求获取响应
response = requests.get(url,headers=headers)
print(response.text)
#输出：整个网页源码

2.3.1 headers参数中携带cookies

        网站经常利用请求头中的cookies字段来做用户访问状态的保持，那么我们可以在headers参数中添加cookies，模拟普通用户的请求。cookies具有时效性，过一段时间需要更换，而且里面包含了个人信息，切勿外传。

 在headers字典中添加Cookie参数：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36',
           'Cookie': 'SUID=B16809706B20A00A000000005FAA56A2; SUV=007F3EDD700968B15FAA56A244092528; _y_1001=%E8%B4%AD%E7%89%A9%E5%BC%82%E5%BD%A2sogo_1110_2; _AD_1001=361604998826800; ssuid=9596610466; _m_1265=5235865654890; _AD_1265=5235865654893; ad_recall=%7B%2241861%22%3A1636013904683%7D; IPLOC=CN3715; Hm_lvt_13bcdac6f533873f736729fd894098ad=1660281832; Hm_lvt_eaa57ca47dacb4ad4f5a257001a3457c=1660281836; __mtmc=201094952; LSTMV=352%2C320; LCLKINT=2029; cd=1660375612&15b92f317554f79f73dcf21c955e624a; ld=NZllllllll2AdWyBYsNv5paTU0IAdCwDtjbw6lllllGllllxRylll5@@@@@@@@@@; Hm_lvt_d7c7037093938390bc160fc28becc542=1660441495; Hm_lpvt_d7c7037093938390bc160fc28becc542=1660441495; SNUID=217A94C1B2B457F72C68FB29B2ED69EB; GOTO=Af21997; __mtma=201094952.995483057.1604998820.1660561575.1660564900.82; __mtmz=201094952.1660564900.82.79.mtmcsr=801100.anaih.com|mtmccn=(referral)|mtmcmd=referral|mtmcct=/; sduv=1660281830585_4535_00007; CKOR=2664_00007_00001; CKOD=2124_00002_00000; __mtmb=201094952.2.100.1660564900'
           }

2.4 超时参数timeout

        在平时上网时，我们经常会遇到网络波动，这时候，一个请求等了很久可能仍然没有响应。在爬虫中，一个请求很久没有结果，就会让整个项目效率变得非常低，所以这个时候我们就需要对请求进行强制性要求，让它在特定的时间内返回结果，否则就会报错。

函数语法：response = requests.get(url, timeout=3)

参数说明：

timeout=3 表示：发送请求后，3秒内返回响应，否则久抛出异常

 用法举例：

import requests

#目标网址
url = 'https://blog.csdn.net/m0_52162042?spm=1000.2115.3001.5343'
#构建请求头，最重要的是user-Agent
#如果需要其他请求，就在headers字典中加上
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
    }
try:
    #发送请求获取响应,超时设置为10s
    response = requests.get(url,headers=headers,timeout=10)
except:
    for i in range(4): #循环请求网站
        response = requests.get(url,headers=headers,timeout=20)
        if response.status_code==200:
            break
html_str = response.text

2.5 proxies代理参数

        为了让服务器以为不是同一个客户端在请求，防止频繁向同一个域名发送请求被封ip，所以我们需要使用代理ip。

函数语法：response = requests.get(url, proxies=proxies)

参数说明：

proxies的形式为字典

举例说明：

proxies = {
    'http':'http://12.34.5678:9527',
    'https':'https://12.34.5678:9527',
}

注意：如果proxies字典中包含有多个键值对时，发送请求时将按照url地址的协议来选择相应的代理ip。

2.6 发送post请求

        requests模块发送post请求函数的其他参数和get请求的参数完全一致。

语法格式：response = requests.post(url, data)

应用举例：

        以百度翻译为例，找到对应的请求，点击Payload，展开Form Data表单。

import requests

#目标网址
url = 'https://fanyi.baidu.com/#en/zh/love'
data = {
    'query': 'love'
}
response = requests.post(url,data=data)
print(response.text) #输出：整个网页源码

python（爬虫篇）——requests库
CSDN博客
08-20 443
​​学习的最大理由是想摆脱平庸，早一天就多一份人生的精彩；虽然永远无法预料明天是晴还是雨，也无法预知你在乎的人是否还在身旁，以及你一直以来的坚持究竟能否换来什么。但你能决定的是，今天有没有备好雨伞，有没有好好爱自己，以及是否为自己追求的理想而拼尽全力。
【Python】Python3网络爬虫实战-24、requests：基本使用
Python8年程序员教程分享
07-27 701
在前面一节我们了解了 Urllib 的基本用法，但是其中确实有不方便的地方。比如处理网页验证、处理 Cookies 等等，需要写 Opener、Handler 来进行处理。为了更加方便地实现这些操作，在这里就有了更为强大的库 Requests，有了它，Cookies、登录验证、代理设置等等的操作都不是事儿。 那么接下来就让我们来领略一下它的强大之处吧。 1 基本使用 本节我们首先来了解下 Requ...
Python 爬虫（二）：Requests 库
Python小二
10-29 6085
Requests 库介绍与使用
史上最全！Python爬虫requests库(附案例)
最新发布
2401_86168842的博客
09-21 3547
Requests 是一个为人类设计的简单而优雅的 HTTP 库。requests 库是一个原生的 HTTP 库，比 urllib3 库更为容易使用。requests 库发送原生的 HTTP 1.1 请求，无需手动为 URL 添加查询串， 也不需要对 POST 数据进行表单编码。相对于 urllib3 库， requests 库拥有完全自动化 Keep-alive 和 HTTP 连接池的功能。requests 库包含的特性如下。❖ 1Keep-Alive & 连接池❖ 国际化域名和 URL。
python爬虫--Requests库
zhanjun520的博客
02-21 1370
Requests是Python的一个很实用的HTTP客户端库，完全满足如今网络爬虫的需求。与Urllib对比，Requests不仅具备Urllib的全部功能；在开发使用上，语法简单易懂，完全符合Python优雅、简洁的特性；在兼容性上，完全兼容Python 2和Python3，具有较强的适用性,操作更加人性化。
python爬虫——requests库
TaoIsStruggling的博客
02-10 503
1. requests.get(url,params=None,** kwargs) 通过最简单的代码得到目标页面的代码： r = requests.get(url) 这行代码构造了一个向服务器请求资源的Request对象 同时返回一个包含服务器资源的Response对象 完整的get方法为： requests.get(url,params=None,**kwargs) #ur...
python爬虫之requests库
qq_42931734的博客
06-27 141
requests库介绍 requests库是python的第三方库，也是目前公认的爬取网页 最好的第三方库，非常简洁. requests 库安装 进入dos命令界面，输入 pip install requests 测试：抓取百度首页 ...
2020中国高校计算机大赛·华为云大数据挑战赛热身赛——python获取深圳历史天气信息！！
12-21
在本文中，我们将探讨如何使用Python获取深圳的历史天气信息，这是2020年中国高校计算机大赛·华为云大数据挑战赛热身赛中的一个任务。首先，我们要了解的是Python编程语言，它是一种广泛用于数据处理和网络爬虫的...
数学建模比赛常用代码python版
03-17
此外，网络爬虫（如requests和BeautifulSoup库）在获取和预处理大量数据时发挥作用，而nltk库则适用于自然语言处理任务。 在实际应用中，参赛者还需要了解如何利用Python进行文件操作（如读写CSV、JSON等格式），...
第十四届蓝桥杯省赛Python研究生组题目pdf
04-21
《第十四届蓝桥杯省赛Python研究生组题目解析》 蓝桥杯竞赛，作为国内极具影响力的编程竞赛之一，旨在提升大学生与研究生的编程技能，尤其是对于Python这门广泛应用于数据处理、科学计算以及人工智能等领域的语言。...
猿人学爬虫比赛题解.zip
10-01
1. **Python爬虫框架**：常见的如Scrapy、BeautifulSoup或Requests+PyQuery等，它们是如何组织和执行爬虫任务的。 2. **网页解析技术**：HTML、CSS选择器、XPath等用于提取网页数据的方法。 3. **反爬策略**：如何...
Python爬虫-requests库
qq_40772086的博客
10-09 219
记录一下学习过的爬虫知识，方便以后回顾查找~ import requests import re 一、Get请求 r=requests.get('http://baidu.com/') #获取百度网址 print(type(r)) #类型 print(r.status_code) #状态码 print(type(r.text))# 响应体的类型 print(r.text) #内容 print(r.cookies) #cookies 1.1 添加params参数 data={ 'name':.
python爬虫之requests库(一）
qq_29983883的博客
04-14 3441
requests库是一个常用的用于http请求的模块，它使用python语言编写，可以方便的对网页进行爬取，是学习python爬虫的较好的http请求模块 requests库的安装 在这里，我是使用pycharm对requests库进行安装的，首先选择File->settings,找到Project pychram，点击右边的加号 在弹出栏中输入requests选中，然后点击下面的inst...
python爬虫（一）Requests库
qq_40042590的博客
04-14 385
一、概述 1、爬虫，应称为网络爬虫，也叫网页蜘蛛、网络机器人、网络蚂蚁等； 2、搜索引擎，就是网络爬虫的应用者； 二、爬虫分类 1、通用爬虫：常见的就是搜索引擎； 2、聚焦爬虫：有针对性的编写特定领域数据的爬取程序，是面向主题的爬虫； 三、Robots协议 简单来说就是告诉爬虫引擎什么可以爬取，“爬亦有道”； 四、爬虫的HTTP请求和响应处理 其实就是爬取...
【Python】【爬虫】关于requests库
u013628902的博客
10-08 373
1、requests：有try except模式，利用r.raise_for_status() 函数引发except机制 2、requests.get(url, **kwargs) 里面的参数有headers （定制HTTP头）: params : url中的额外参数，字典或字节流格式，可选，这作为选择的键值对。
Python 爬虫 安装 requests 库
hjp2020的博客
07-08 817
在安装python 目录下进入Scripts文件夹 在空白的地方按住Shift+鼠标右键 点击 ”在此处打开命令窗口“ 安装第三方库 requests 执行pip install requests 打开python交互窗口 输入 import requests 如果没有报错，则安装成功 ...
python数据分析之爬虫一：Requests库
qq_40123329的博客
08-10 505
一：Requests库 Requests库小试 Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求，支持以下各方法的基础方法 requests.get() 获取HTML网页的主要方法，对应于HTML的GET requests.head() 获取HTML网页头信息的方法。对应HTML的HEAD reque...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花落指尖❀

您的认可是小浪宝宝最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值