爬虫第二篇——requests初级教程

最新推荐文章于 2024-05-01 17:58:32 发布
最新推荐文章于 2024-05-01 17:58:32 发布
阅读量1.8k 收藏 12
点赞数 2
文章标签： 爬虫 python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/stanhuo/article/details/121297668
版权

爬虫教程——requests初级教程

一、模块安装

在环境jupyter中安装requests模块

!pip install requests

安装成功：
在这里插入图片描述

二、requests初体验

首先，我们以百度为例子来演示requests模块

import requests

r = requests.get('https://www.baidu.com/')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)

运行后的结果如下：
在这里插入图片描述
在这里我们得到的是一个 Response 对象，然后分别输出了 Response 的类型（红）、状态码（绿）、响应体的类型（蓝）、内容（黑）以及 Cookies（黄）。下面会具体讲，这里只是一个小例子，继续往下看吧。

三、get请求

3.1 基础讲解一

现在我们仍然以百度作为例子，利用get请求网址，打印txt则获取到百度页面源码：

https://www.baidu.com/

import requests

r = requests.get('https://www.baidu.com/')
print(r.text)

运行：
在这里插入图片描述
这里用百度作为例子是因为百度不会被反扒，如果被反扒，返回为空。

3.2 基础讲解二

接下来我们以B站为例，使用requests模块的get函数直接获取

import requests

u = requests.get('https://www.bilibili.com/')
print(u.status_code)#打印状态码
print(u.cookies)#打印cookie
print(u.text)#打印文本

运行：
在这里插入图片描述
这两个例子中我们都成功请求到了内容，再举一个被反扒的例子，比如用put，post，delete等请求方法：

import requests

r = requests.post('https://www.csdn.net/?spm=1001.2014.1000.2115')
s = requests.put('https://www.csdn.net/?spm=1001.2014.1000.2115')
print(r.status_code)
print(r.text)
print(s.status_code)
print(s.text)

在这里插入图片描述

3.3 基础讲解三

首先，对网站构建一个get 请求，请求后该网站会判断客户端发起的是 get 请求，它返回相应的请求信息。
这里我们请求的链接为 http://httpbin.org/get。

 http://httpbin.org/get

import requests

r = requests.get('http://httpbin.org/get')
print(r.text)

运行：
在这里插入图片描述
这样我们就成功发起了get请求，返回结果中包含请求头、url、IP等信息。
那么，如果我们怎样在get请求中添加额外的信息呢？
比如我们要在前一个例子中添加name是germey、age是22这两个参数，要怎么做呢？
直接利用params这个参数就可以了：

import requests 

data = {
    'name':'germey',
    'age':22
}
r = requests.get("http://httpbin.org/get",params=data)
print(r.text)

运行：
在这里插入图片描述
通过返回信息我们可以发现请求的链接自动被构造成了：http://httpbin.org/get?age=22&name=germey
另外，网页的返回类型实际上是 str 类型，但是它很特殊，是 JSON 格式的。所以，如果想直接解析返回结果，得到一个字典格式的话，可以直接调用 json 方法。示例如下：

import requests

r = requests.get("http://httpbin.org/get")
print(type(r.text))
print(r.json())
print(type(r.json()))

在这里插入图片描述
这里我们可以发现，调用json方法后，得到的返回结果是字典格式。

3.4 获取cookie

import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'
}#请求头
url='https://www.csdn.net/?spm=1001.2014.1000.2115'
r=requests.get(url=url,headers=headers)
print(r.cookies)#打印cookie

运行：
在这里插入图片描述
这里headers请求头是什么意思呢，
客户端在浏览器发送请求给服务器时，会携带请求头，在请求头中有一个User-Agent属性，User-Agent是一个特殊字符串头，是一种向访问网站提供你所使用的浏览器类型及版本、操作系统及版本、浏览器内核、等信息的标识。
那么，又是怎么获取的呢？

3.5 获取请求头

手动获取：
在任意网页右键检查—>选择网络（network）—>随机选其中，得到如图所示的User-Agent：
在这里插入图片描述
得到后，直接复制就可以。

3.6 添加请求头

如果不添加请求头会怎样呢？

import requests

r = requests.get("https://www.zhihu.com/")
print(r.text)

运行：
在这里插入图片描述
很明显，不添加请求头我们请求失败了，加上再试试：

import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'
}#请求头
r = requests.get("https://www.zhihu.com/",headers =headers )
print(r.text)

运行：
在这里插入图片描述
加上User-Agent属性后，请求就成功了。
通过这个例子我们就知道为什么要添加请求头了，为了模拟正常浏览器，防止被反扒。

3.7 知乎爬取+反扒技术

先获取cookie，或者登录知乎，找到cookie，用获取到的cookie来获取网页
先看第一种方法：

import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'
}#请求头
url = 'https://www.zhihu.com/'
r = requests.get(url=url,headers =headers )
print(r.cookies)

运行：

在这里插入图片描述
第二种方法：
在这里插入图片描述

import requests

headers={
    'cookie': '_zap=bf693aa3-9fb3-445e-8ed5-ec0d59c7d10d; d_c0="AGDfZ78KtROPTphvy9ZFmOvFMfDwYZtiYsw=|1631347036"; _xsrf=ipOs9l35YFUurPihZ5Uc3QQ95BVoqePr; captcha_session_v2="2|1:0|10:1636707206|18:captcha_session_v2|88:dGtlTTJ3bTcvZkVxeStHZU00YjIrSUFmKytvelRhaXJLUHQ5bUxJOTBURkdrb3FEK3hlVitxUEY2SVpMMEhqaw==|fd38481b8a273c2304147f7117e8093f78891a2bfac62a3cf3c9b88d50738248"; Hm_lvt_98beee57fd2ef70ccdd5ca52b9740c49=1634447239,1635413640,1636547329,1636707205; z_c0="2|1:0|10:1636707239|4:z_c0|92:Mi4xbXppWkR3QUFBQUFBWU45bnZ3cTFFeWNBQUFDRUFsVk5wN2kxWVFDN1NyOEZJRy1zSmpSTDFRdVMyNDJYLUo5UXFB|4ad12a0760ab51593a762898c95397759242ccb549f7c4ab410c49f4db38ebe9"; NOT_UNREGISTER_WAITING=1; tst=r; Hm_lpvt_98beee57fd2ef70ccdd5ca52b9740c49=1636708108',
    'host': 'www.zhihu.com',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.69 Safari/537.36',
}
url = 'https://www.zhihu.com/'
r = requests.get(url = url,headers = headers)
print(r.text)

运行：
在这里插入图片描述
这里刚开始写的时候我出现了bug，一检查是个特别蠢的错误，把错误截图放在下面，大家对比一下找找原因，希望大家写的时候认真一点，不要像我一样：
在这里插入图片描述
返回结果有知乎里的相关内容，这样就是成功登录知乎了
再提一点session,它可以实现同一个站点进去不同页面：

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/147258369')
r=s.get('http://httpbin.org/cookies')
print(r.text)

运行：
在这里插入图片描述

3.8 抓取二进制数据

二进制数据都包括哪些呢？其实图片、音频、视频这些文件本质上都是由二进制码组成的，由于有特定的保存格式和对应的解析方式，所以，想要抓取它们，就要有它们的二进制码。

3.8.1 例一

以 GitHub 的站点图标为例：

import requests

r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)

运行：
在这里插入图片描述
可以看到前面都是乱码，乱码后面出现了一个b，这代表是 bytes 类型的数据。图片是二进制数据，在打印时转化为 str 类型，也就是图片直接转化为字符串，所以前面会出现乱码。
接着，我们将刚才提取到的图片保存下来：

import requests

r = requests.get("https://github.com/favicon.ico")
with open('favicon.ico','wb') as f:
    f.write(r.content)

运行后我这里出现了bug，目前还没有解决，大佬们知道为什么可以评论区告诉我呀。
在这里插入图片描述

3.8.2 例二

爬取我自己的CSDN头像：

import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'
}#请求头
url = 'https://avatar.csdnimg.cn/A/3/9/1_stanhuo_1636704922.jpg'
r = requests.get(url = url, headers = headers)
with open('photo.jpg','wb') as f:
    f.write(r.content)

这里还是出现了一点问题，图像加载不出来，不清楚是网络问题还是其他原因。
在这里插入图片描述

更新！！!

知道原因了，是我的问题，头像违规了所以 呃…
修改之后就没有问题啦！
在这里插入图片描述

四、 POST请求

除了get之外，另一种比较常见的就是POST请求

4.1 数据表单提交

import requests

data = {'name':'germey','age':'22'}
r = requests.post("http://httpbin.org/post", data=data)
print(r.text)

运行：
在这里插入图片描述

4.2 添加请求头

import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
headers = {"User-Agent":"test request headers"}
 
r = requests.post(url,headers=headers)
print(r.text)

运行：
在这里插入图片描述

4.3 提交json

# -*- coding:utf-8 -*-
import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
data = {
    "sites": [
                { "name":"test" , "url":"https://blog.csdn.net/weixin_46211269?spm=1000.2115.3001.5343" },
                { "name":"google" , "url":"https://blog.csdn.net/weixin_46211269/article/details/120703631?spm=1001.2014.3001.5501" },
                { "name":"weibo" , "url":"https://blog.csdn.net/weixin_46211269/article/details/120659923?spm=1001.2014.3001.5501" }
    ]
}
 
r = requests.post(url,json=data)
# r = requests.post(url,data=json.dumps(data))
response = r.json()
print(response)

运行：
在这里插入图片描述

4.4 普通文件上传

# -*- coding:utf-8 -*-
import requests
import json
 
host = "http://httpbin.org/"
endpoint = "post"
 
url = ''.join([host,endpoint])
#普通上传
files = {
            'file':open('test.txt','rb')
        }
 
r = requests.post(url,files=files)
print (r.text)

运行：
在这里插入图片描述
可以发现，bug又出现了，为什么呢？因为我并没有创建文件就运行，程序找不到‘text.txt’文件。知道原因了，创建一个text.txt文件就可以了。
在这里插入图片描述

内容为：哈哈哈哈哈哈 就可以

在这里插入图片描述
然后对文件进行重命名为：text.txt：

在这里插入图片描述

在这里插入图片描述

再运行:
在这里插入图片描述

五、总结

这里主要讲的是requests的基础用法，在写的过程中出现了一些bug，一些自己解决了，剩下的问题我也会慢慢地改，如果看到这篇文章的你知道我错在那里，记得评论区告诉我呀，谢谢！

stanhuo
关注
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
孤寒者的博客
08-09 63万+
【Python爬虫必备—＞Scrapy框架快速入门篇——上】
跟随B站-波波老师学爬虫(一)——requests
马小胖测试历险记
01-01 909
一、爬虫的理解与分类 1、爬虫：通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程 2、爬虫分类： 通用爬虫（抓取系统中重要组成部分，抓取的是一整张页面数据） 聚焦爬虫（抓取页面中特定的局部内容） 增量式爬虫（只抓取网站中更新的数据） 3、爬虫的基本步骤 前期须知： ----用到requests库模拟浏览器请求，需install--requests ----存储用到文件操作，需install--os ----如需爬取json类型数据，需install--json 步骤分析：想要
Anaconda安装教程（使用Spyder）
DreamerZC的博客
03-20 4万+
今天就简单说一下Anaconda的基本安装，Anaconda指的是一个开源的发行版本，其包含了conda、Python等180多个科学包及其依赖项。你可以这样理解，一个是官方的Python版本，另一个是民间的Python版本，都可以使用，当然您选择任意一款来学习都可以，但后者Anaconda内容更丰富，编辑器更优美，操作更便利些啦！！学习Python还是很推荐大家下载Ana...
用Python获取浏览器Cookies的多种方式
伤心的辣条
11-22 4313
本文介绍了使用Python获取浏览器Cookies的多种方式，包括使用Selenium库、浏览器开发者工具、浏览器插件、浏览器驱动程序等。每种方式都有其适用的场景和注意事项，你可以根据具体需求选择合适的方法。
jupyter网页爬虫2（第三方库requests）
weixin_63469619的博客
05-11 156
jupyter网页爬虫2（第三方库requests）
【jupyter的使用】
cs111211的博客
08-05 503
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 记录jupyter的使用前言一、jupyter Notebook是什么？二、使用步骤1.下载annaconda2.读入数据总结 前言 最近有个写一个jupyter的任务，这里记录一下jupyter的使用方法。 一、jupyter Notebook是什么？ Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享程序文档，支持实时代码，数学方程，可视化和 markdown。 用途包括：数据清理和转换，数值模拟，统.
Python：jupyter notebook安装第三方库
we chat：玩转测试开发
05-17 8205
简介：在jupyter notebook中直接输入：!pip install 第三方库名称，点击运行。 如： !pip install requests 相关攻略：miniconda：安装Jupyter Notebook 运行结果： 微信公众号：玩转测试开发 欢迎关注，共同进步，谢谢！ ...
爬虫入门（1）——requests（1）
WHJ226的博客
05-31 1701
requests库采requests用的是阻塞式的网络请求方式，也就是说，发起请求之后，必须等到有响应才会继续执行下面的任务。 1. requests模块安装 基于PyCharm2022.1.1的开发环境。 1.1 pip insatll requests 点击Terminal 输入pip install requests后回车，本人已经安装过，所以显示需求以满足。 1.2 安装完成后会显示类似successful标志 。 2.requests实战 以搜狗...
2024年手把手学爬虫第二弹——Scrapy框架
最新发布
2301_82243979的博客
05-01 979
definitself.ua = UserAgent() # 随机请求头对象。
python爬虫入门——requests库、BeautifulSoup库和re库
GuFeng1999的博客
10-22 1746
对于大多数网页，如果它们的页面是由html代码静态生成的，那么我们可以通过访问网页的源代码，即网页对应的html文档内容，从文档中解析出我们想要的内容，然后将其摘录下来，存储在一定的数据结构中
Spyder 基本知识（一）
weixin_42574142的博客
11-26 2万+
一直想学Spyder，苦于没有方向。经高人指点，总算开始了爬虫的学习。本文权当一个总结，若有不当请多指正，欢迎拍砖。 首先，写初级的爬虫程序离不开“Requests”库，import后正式开始。 一、Reuqests库的常用函数： import Requests requests.request() 构造一个请求，支撑一下各方法的基础方法 requests.get()...
requests库的安装
qiki_糖没味儿的程序媛小屋
03-14 9652
本文是基于 中国大学MOOC教程 中《Python网络爬虫与信息提取》 做的学习笔记，笔者在这里做一个分享 Request 库是python的第三方库，它也是目前公认的爬取网页最好的第三方库。关于request库的更多信息可从 http://www.python-requests.org中获得。 一、requests库的安装 step 1：用管理员权限启动cmd控制台（wind
【爬虫1】安装第三方库requests的两种方法及使用方法；看完你也会基础爬虫了
白粥bz的博客
01-20 3万+
一、安装requests： A、使用pip install requests命令进行安装 1、在cmd黑窗口里面输入： 2、在pycharm的终端Terminal中输入命令来安装 B、如果网速不好，也可以用国内源：pypi镜像（清华源） pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests 备注：同样用cmd或者pycharm的方式来安装，只是命令有所不同 二、使用requests的get爬取内容 im.
Python之requests的安装
热门推荐
陈 浩
08-22 14万+
在 windows 系统下，只需要输入命令 pip install requests ，即可安装。       在 linux 系统下，只需要输入命令 sudo  pip install requests ，即可安装。       注：关于python第三方库的安装最好少使用 easy_install，因为 easy_install 只能安装不能卸载，如果要卸载需要进入到 python 的安装
【Python】Windows系统下Spyder安装python第三方包的两种方法
J小白的博客
05-25 3万+
小白在学习python之初，经常遇到要安装python第三方包的问题，犹记得在安装xgboost时，那是安装了一下午呀，各种网上找教程，后来小白总结了一下，其实安装包无非就两种方式，今日做一个总结，以后再忘记时，就可以看自己的笔记啦~ 方法一：利用Spyder自身进行安装 步骤： 1）打开spyder--tools--open coomand prmot--进入编辑界面； 2...
python环境安装及添加requests库
天地沧海
09-20 894
原文地址 https://jingyan.baidu.com/article/ce09321b94a1272bfe858f5a.html
python安装requests_Python 安装requests库
weixin_39613433的博客
11-21 405
前言Python的请求包是非常强大的，里面封装了我们平时能够用到的所有请求，并且简化了代码，是Python开发非常有用的安装requests包安装requests包有很多方法，常用的就是利用 easy_install安装，另外就是利用pip安装1. 利用easy_install安装// 语法：easy_install 包名easy_install requests如果遇到如下图错误，请移步Pyth...
在Spyder 中安装第三方包
seaswallow8的博客
04-12 1万+
!pip install 包的名称例如：!pip install datareader
爬虫之jupyter的使用，requests模块，正则表达式
weixin_30640291的博客
02-26 751
一.爬虫 1.介绍 　　爬虫就是通过编写程序模拟浏览器上网，然后让其去互联网上抓取数据的过程 2.分类 　　通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分 　　聚焦爬虫：聚焦爬虫是根据指定的需求抓取网络上指定的数据。 3.反爬虫 　　门户网站通过相应的策略和技术手段，防止爬虫程序进行网站数据的爬取。 4.反反爬虫 　　爬虫程...
"大学生Python爬虫入门指南——实用工具与实战技巧
《大学生 Python爬虫入门指南》是一本面向大学生的Python爬虫入门教程。本书共分为五个章节，分别介绍了Python爬虫的基础知识、常用工具、实战案例和进阶内容。 第一章《Python爬虫基础》首先介绍了什么是爬虫，它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

stanhuo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值