Requests数据爬取

最新推荐文章于 2024-05-21 09:51:42 发布
最新推荐文章于 2024-05-21 09:51:42 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 网络爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38195197/article/details/103458695
版权

Requests简介及安装

  与Urllilb对比，Requests是在Urllib的基础上进一步封装的，具备Urllib的全部功能；在开发使用上，语法简单易懂，完全符合Python优雅、简介的特性；在兼容性上，完全兼容Python2和Python3，具有较强的适用性。

  Requests可通过pip安装：

  • Windows 系统：pip install requests
  • Linux 系统：sudo pip install requests

  还可以下载whl文件安装：

  • 访问https://www.lfd.uci.edu/~gohlke/pythonlibs/ ，按Ctrl+F组合键搜索关键字“requests”，如图所示：
    在这里插入图片描述
  • 单击下载requests‑2.22.0‑py2.py3‑none‑any.whl，把下载文件直接解压，放到Python的安装目录Lib\site-packages中即可
  • 还可以适用pip安装whl文件，进入到whl文件所在文件夹，输入安装命令：pip install requests‑2.22.0‑py2.py3‑none‑any.whl

  检验是否安装成功：

import requests
requests.__version__

'2.22.0'

请求方式

  HTTP的常用请求是GET和POST。GET请求有两种形式，分别是不带参数和带参数以百度为例：

#不带参数
https://www.baidu.com/
#带参数wd
https:www.baidu.com/s?wd=python

  判断URL是否带有参数，可以对符号“？”判断。一般网址末端（域名）带有“？”，就说明该URL是带有请求参数的，反之则不带有参数。如果一个URL有多个参数，参数之间用“&”连接。Requests实现GET请求，对于带参数的URL有两种请求方式：

import requests
#第一种方式
r = requests.get('https://www.baidu.com/s?wd=python')
#第二种方式
r = requests.get('https://www.baidu.com/s')
url = 'https://www.baidu.com/s'
params = {'wd': 'python'}
#左边params在GET请求中表示设置参数
r = requests.get(url, params=params)
#输出生成的URL
print(r.url)

https://wappass.baidu.com/static/captcha/tuxing.html?&ak=c27bbc89afca0463650ac9bde68ebe06&backurl=https%3A%2F%2Fwww.baidu.com%2Fs%3Fwd%3Dpython&logid=9931620155331155859&signature=f00976f050439d35b68197d0726afa81&timestamp=1575602040

  上面网址是百度安全验证网址。

  在实际开发中建议使用第一种方式，因为代码简洁，如果参数是动态变化的，那么可使用字符串格式化对URL动态设置，例如’https://www.baidu.com/s?wd=%s’ %(‘python’)

  POST请求是我们常说的提交表单，表单的数据内容就是POST的请求参数。Requests实现POST请求需设置请求参数data，数据格式可以为字典、元祖、列表和JSON格式。

#字典类型
data = {'key1': 'value1', 'key2': 'value2'}
#元组或列表
(('key1', 'value1'), ('key2', 'value2'))
#JSON
import json
data = {'key1': 'value1', 'key2': 'value2'}
#将字典转换JSON
data = json.dumps(data)
#发送POST请求
r = requests.post('https://www.baidu.com/', data=data)
print(r.text)

  Requests的GET和POST方法的请求参数分别是params和data，别混淆两者的使用要求。

  Requests提供以下方法获取响应内容：

  • r.status_code: 响应状态码。
  • r.raw: 原始响应体，使用r.raw.read()读取。
  • r.content: 字节方式的响应体，需要进行解码。
  • r.text: 字符串方式的响应体，会自动根据响应头部的字符编码进行解码。
  • r.headers: 以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在，则返回None.
  • r.json(): Requests中内置的JSON解码器。
  • r.raise_for_status(): 请求失败（非200响应），抛出异常。
  • r.url: 获取请求链接。
  • r.cookies: 获取请求后的cookies。
  • r.encoding: 获取编码格式。

复杂的请求方式

  复杂的请求方式通常有请求头、代理IP、证书验证和Cookies等功能。

#1. 添加请求头，请求头以字典形式生成，
#在发送请求中，设置headers参数指向已定义的请求头。
headers = {'content-type': 'application/json',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
           'referer': 'https://www.baidu.com/',
           'connection': 'keep-alive'}
requests.get("https://www.baidu.com/", headers=headers)


<Response [200]>

#2. 使用代理IP: 代理IP的使用方法与请求头的使用方法一致，设置proxies参数即可。
import requests
proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}
requests.get("https://www.baidu.com/", proxies=proxies)

#3. 证书验证：通常设置关闭验证即可。在请求设置参数verify=False时就能关闭证书的验证，默认情况下是True。
#如果需要设置证书文件，那么可以设置参数verify值为证书路径。
import requests
url = 'https://kyfw.12306.cn/otn/leftTicket/init'
#关闭证书验证
r = requests.get(url, verify=False)
print(r.status_code)
#开启证书验证
#r = requests.get(url, verify=True)
#设置证书所在路径
#r = requests.get(url, verify='/path/to/certfile')

D:\software\anaconda3\lib\site-packages\urllib3\connectionpool.py:847: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
  InsecureRequestWarning)


200

#4. 超时设置：发送请求后，由于网络、服务器等因素，请求到获得响应会有一个时间差。
#如果不想程序等待时间过长或者延长等待时间，可以设定timeout的等待秒数，超过这个时间之后停止等待响应。
#如果服务器在timeout秒内没有应答，将会引发一个异常。
requests.get("https://www.baidu.com/", timeout=0.001)
requests.post("https://www.baidu.com/", timeout=0.001)

#5. 使用Cookies: 在请求过程中使用Cookies也只需设置参数Cookies即可。
#Cookies的作用是标识用户身份，在Requests中以字典或RequestsCookieJar对象作为参数。
import requests
temp_cookies = 'JSESSIONID_GDS=y4p7osFr_IYV%Udyd6cldrWE8MeTpQn0Y58Tg8cCONVP020y2N!450649273;name=value'
cookies_dict = {}
url = 'https://kyfw.12306.cn/otn/leftTicket/init'
for i in temp_cookies.split(';'):
    value = i.split('=')
    cookies_dict[value[0]] = value[1]
r = requests.get(url, cookies=cookies_dict)
print(r.text)

#自动生成一个RequestsCookieJar对象，该对象用于存放Cookies信息。
import requests
url = 'https://movie.douban.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
          'connection': 'keep-alive'}
r = requests.get(url, headers=headers)
#r.cookies是RequestsCookieJar对象
print(r.cookies)
mycookies = r.cookies

#RequestsCookieJar转换字典
cookies_dict = requests.utils.dict_from_cookiejar(mycookies)
print(cookies_dict)

#字典转换RequestsCookieJar
cookies_jar = requests.utils.cookiejar_from_dict(cookies_dict, cookiejar=None, overwrite=True)
print(cookies_jar)

#将Cookies字典中的内容添加到RequestsCookieJar对象中
print(requests.utils.add_dict_to_cookiejar(mycookies, cookies_dict))

<RequestsCookieJar[<Cookie bid=OYX5RyXiD-8 for .douban.com/>, <Cookie ll="118220" for .douban.com/>]>
{'bid': 'OYX5RyXiD-8', 'll': '"118220"'}
<RequestsCookieJar[<Cookie bid=OYX5RyXiD-8 for />, <Cookie ll="118220" for />]>
<RequestsCookieJar[<Cookie bid=OYX5RyXiD-8 for />, <Cookie ll="118220" for />, <Cookie bid=OYX5RyXiD-8 for .douban.com/>, <Cookie ll="118220" for .douban.com/>]>

#如果要将Cookies写入文件，可使用http模块实现Cookies的读写。除此之外，还可以将Cookies以字典形式写入文件，
#此方法相比http模块读写Cookies更为简单，但安全性相对较低。
import requests
url = 'http://movie.douban.com/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
           'referer': 'http://movie.douban.com/',
          'connection': 'keep-alive'}
r = requests.get(url, headers=headers)
#RequestsCookieJar转换字典
cookies_dict = requests.utils.dict_from_cookiejar(r.cookies)
#写入文件
f = open('cookies.txt', 'w', encoding='utf-8')
f.write(str(cookies_dict))
f.close()
#读取文件
f = open('cookies.txt', 'r')
dict_value = f.read()
f.close()
#eval(dict_value)将字符串转换为字典
print(eval(dict_value))
r = requests.get(url, cookies=eval(dict_value), headers=headers)
print(r.status_code)

{'bid': 'YoDm36r75LM', 'll': '"118220"'}
200

下载与上传

   下载文件主要从服务器获取文件内容，然后将内容保存到本地。下载文件的方法如下：

import requests
url = 'http://ws.stream.qqmusic.qq.com/C100001Yyla31Dr60y.m4a?fromtag=2'
# url = 'http://ws.stream.qqmusic.qq.com/C400003lghpv0jfFXG.m4a?fromtag=0&guid=126548448&vkey=D661E5DF19B8FEB2FBFC554276746AC608AE98B0F30595B3B3BAD5C1C89ECCDD7BE599E306F786621856D22D6BD6B96F5DD344CF3814DB71'
# url = 'http://ws.stream.qqmusic.qq.com/C400000HjG8v1DTWRO.m4a?guid=358840384&vkey=852D30CD2DEA9E0AFF9CF700977FAFB413A06486CFE8F72502918665277C5407D8D5AD42039F02329401300003A2853B10816B83C3145159&uin=0&fromtag=66(泡沫)'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
          'connection': 'keep-alive'}
r = requests.get(url, headers=headers)
f = open('music.m4a', 'wb')
#r.content获取响应内容（字节流）
f.write(r.content)
f.close()
#并不能下载有效文件，目前还不清楚原因是什么，可能接口url不对等

import requests
url = 'https://weibo.cn/mblog/sendmblog?rl=0&st=bd6702'
cookies = {'xxx': 'xxx'}
files = {'content': (None, 'Python爬虫'),
        'pic': ('pic', open('test.png', 'rb'),
        'image/png'), 'visible': (None, '0')}
r = requests.post(url, files=files, cookies=cookies)
print(r.status_code)

200

#不同网站设置对files参数的设置是不一样的，下面列出较为常见的上传方法：
#单独一个文件请求
{"field1" : open("filePath1", "rb").read()}
#同时选中多个文件
{"field1" : [("filename1", open("filePath1", "rb")),
             ("filename2", open("filePath2", "rb"), "image/png"),
             open("filePath3", "rb"),
             open("filePath4", "rb").read()] }

小节

   Requests提供了r.status_code、r.raw、r.content、r.text、r.headers、r.json()、r.raise_for_status()、r.url、r.cookies、r.encoding十种方法获取响应内容。

import requests
url = 'https://baidu.com/'
#GET请求
r = requests.get(url, headers=headers, proxies=proxies, verify=False, cookies=cookies)
#POST请求
r = requests.post(url, data=data, files=files, headers=headers, proxies=proxies, verify=False, cookies=cookies)
JingleLee123
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
网络爬虫的五个实例
weixin_44754412的博客
02-11 9862
requests库的安装 在终端输入 pip inatsll requets 即可安装成功 若出现版本更新问题，输入python -m pip install --upgrade pip即可，若还是报错就输入python -m pip install -U pip 在pycharm安装requests库 点击File–>Settings–>Project Interpreter,然后...
中国大学mooc爬虫与信息处理第一周笔记
z11111z11的博客
08-18 869
中国大学mooc《Python网络爬虫与信息提取_北京理工大学》第一周笔记Requests库入门七个主要方法1. requests.get(url, params=None, **kwargs)Requests库的常见异常爬取网页通用代码框架HTTP协议HTTP协议对资源的操作2.Requests库的head()方法3.Requests的 post()方法4.Requests 的put()方法5.requests.request(methoud,url,**kwargs)方法method : 请求方式**k
爬虫使用requests发送post请求示例
Gary的博客
08-03 4819
简介 HTTP协议规定post提交的数据必须放在消息主体中，但是协议并没有规定必须使用什么编码方式。服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码，再对消息主体进行解析。具体的编码方式包括： application/x-www-form-urlencoded 最常见post提交数据的方式，以form表单形式提交数据。 application/json 以json串提交数据。 multipart/form-data 一般使用来上传文件。 一、 以form表单发
推荐开源项目：老张的EPG——打造个性化的节目表管理平台
最新发布
gitblog_00061的博客
05-21 406
推荐开源项目：老张的EPG——打造个性化的节目表管理平台 项目地址:https://gitcode.com/supzhang/epg 1、项目介绍 老张的EPG是一个基于Python3和Django4的开源项目，它致力于帮助用户轻松抓取并管理来自多个网络来源的电视节目表信息。该项目设计简洁，功能实用，特别适合那些希望自定义节目表以配合智能电视应用如Perfect Player的爱好者。 2、项目技...
利用云服务器搭建网站
低到尘埃，仰望星空
02-15 2265
基本步骤：1.开通一台云服务器ECS选择：①计费方式：    按量  或包年包月     （通常是有很便宜的专门提供给学生的云服务器）②规格：  CPU核数和内存大小③操作系统： Windows或Linus④存储空间：  硬盘大小⑤公网带宽⑥管理密码2.搭建最基本的网站环境①我们要如何通过本地电脑对云服务器进行远程管理呢？本地下载putty, 使用SSH协议。putty的下载地址：http://e...
Python网络爬虫与信息提取（北京理工大学慕课）学习笔记1
weixin_43754153的博客
04-18 853
Requests库入门 安装requests库 pip install requests Requests库的7个主要方法 方法 功能 requests.request() 构造一个请求，支撑以下各方法的基础方法 requests.get() 获取HTML网页的主要方法，对应于HTTP的GET requests.head() 获取HTML网页头信息的方法，对应于...
二、通过requests等爬取数据
01-20
下面我们要做的就是通过每个国家的编号访问每个国家历史数据的地址，然后获取每一个国家的历史数据。 start = time.time() for country_id in country_dict: # 遍历每个国家的编号 try: # 按照编号访问每个国家的...
python requests库爬取豆瓣电视剧数据并保存到本地详解
09-18
在本教程中，我们将深入探讨如何使用requests库来爬取豆瓣网站上的电视剧数据，并将这些数据保存到本地文本文件中。首先，我们需要找到豆瓣提供的API接口，这通常可以通过浏览器的开发者工具中的网络面板抓包得到。...
基于python requests selenium爬取excel vba过程解析
08-18
基于python requests selenium爬取excel vba过程解析是一种高效的数据爬取方法，该方法通过使用python的requests和selenium库来爬取excel vba过程解析的数据。这种方法可以爬取官方文档中的数据，并将其存储到本地，...
Requests库爬取个人的所有Git项目
05-23
标题 "Requests库爬取个人的所有Git项目" 描述了如何使用Python中的Requests库来抓取个人在GitHub上的所有项目信息。Requests库是Python中最常用的HTTP客户端库，它使得发送HTTP请求变得异常简单。在这个实验中，...
bs4_链家数据爬取_链家数据爬取_
09-30
本项目名为“bs4_链家数据爬取”，其主要目标是通过编程技术从链家网上抓取相关的房产信息，如房屋价格、地理位置、单价以及总价等关键数据。以下将详细介绍这一过程涉及的关键知识点。 首先，我们需要了解...
requests爬虫
weixin_42567027的博客
05-22 2144
在当前网页中打开抓包工具，捕获到地址栏的url对应的数据包，在该数据包的response选项卡搜索想要爬取的数据，如果搜索到了结果则表示数据不是动态加载的，否则表示数据为动态加载的。1、概念：有些数据是通过非浏览器地址栏中的url请求到的数据，而是其他请求请求到的数据，那么这些通过其他请求请求到的数据就是动态加载的数据。定位到动态加载数据对应的数据包，从该数据包中就可以提取出（1）请求的url；3、捕捉动态加载的数据（最重要的就是知道动态数据是怎么加载进去的，地址是多少，然后使用拼接得到网页完整地址）
Requests爬虫方法
weixin_44302046的博客
09-11 825
requests是python实现的简单易用的HTTP库，使用起来比urllib简洁很多。
requests发送post请求的一些疑点
七夜的博客
05-20 6458
前言 在Python爬虫中，使用requests发送请求，访问指定网站，是常见的做法。一般是发送GET请求或者POST请求，对于GET请求没有什么好说的，而发送POST请求，有很多朋友不是很清楚，主要是因为容易混淆POST提交的方式。今天在微信交流群里，就有朋友遇到了这种问题，特地讲解一下。 在HTTP协议中，post提交的数据必须放在消息主体中，但是协议中并没有规定必须使用什么编码方式...
爬虫百度图片进入百度验证怎么办？
lavender_dream的博客
03-20 6214
文章目录前言爬虫百度图片时，总是有时好有时坏 解决方案更改headers：（2）我选择通过如下命令升级pip：（3）再下载cryptography（4）最后尝试最初的下载早中晚温差较大，注意保暖哦，sincerely，end. 前言   爬虫百度图片时，总是有时好有时坏（爬不上的居多），已解决，如有错误，请纠正，万分感谢！ 爬虫百度图片时，总是有时好有时坏 解决方案 出现问题： 根据调试信息，我观察到了返回结果如下： <!DOCTYPE html> <html lang="zh-C
windows下python三方requests库安装
shanexia的专栏
02-12 6188
我之前下载的是python安装包是python-2.7.5.msi的形式，直接安装，没有网上所谓的安装包，故而也就使用网上的python setup.py install命令来安装requests库。 解决办法： 去http://www.lfd.uci.edu/~gohlke/pythonlibs 按 ctrl+f 搜索找到 requests 。如下图， requests‑2.13.0‑py2.py
利用requests模块进行数据爬取的基本操作
FierceALiang的博客
06-17 2325
#需求：爬取搜狗首页的页面源码数据 import requests #1.指定url url = 'https://www.sogou.com/' #2.发起请求 response = requests.get(url=url)#get返回一个响应对象 #3.获取响应数据 page_text = response.text #获取字符串形式的响应数据 print(page_text) #4.持久化存储 with open('./sogou.html','w',encoding='utf-8') as fp:
Anaconda3工具包中Python常用配置及报错解决办法
热门推荐
蜗牛水里爬
12-12 4万+
纯属菜鸟的配置，高手绕道。pip 工具的安装下载pip工具包，解压后执行python setup.py install conda install pip 安装 pip包 thrift 报错错误信息：D:\ProgramData\Anaconda3\Lib\site-packages\pip\compat\__init__.py 修改73行 注意报错的是 line 73 return s.d
Request数据抓取
qq_36292182的博客
12-02 285
简介 Requests是在Urllib的基础上进一步封装的，具备Urllib的所有功能。 安装 window系统：pip install requests Linux系统：sudo pip install requests 请求方式 HTTP的常用请求是GET和POST。 GET请求 GET请求又两种形式，带参数和不带参数。 #不带参数 https://www.baidu.com/ #带参数 ...
requests爬取数据不全
06-03
如果使用requests库爬取数据时出现数据不全的情况，可能有以下几种原因： ...如果以上方法都不能解决问题，还可以考虑使用其他的爬虫框架，如Scrapy、PySpider等，这些框架可以更好地处理一些复杂的数据爬取问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值