爬虫 requests——获取网络请求（九）

已于 2023-12-14 09:43:36 修改
阅读量737 收藏 7
点赞数 13
分类专栏： Spider 文章标签： 测试工具 爬虫 python
于 2023-12-12 09:43:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45447650/article/details/134376239
版权

目录

一、requests安装

二、response的属性及类型

三、requests的get请求

四、requests的post请求——百度翻译

五、代理

六、cookie登录——古诗文网

七、打码平台

参考

一、requests安装

pip install requests

二、response的属性及类型

response的一个类型和六个属性

        类型：models.Response
        r.text：获取网站源码
        r.encoding：访问或定制编码方式

        r.url：获取请求的url
        r.content：响应的字节类型
        r.status code：响应的状态码
        r.headers：响应的头信息

import requests

url = 'http://www.baidu.com'

response = requests.get(url)

# 一个类型和六个属性
print(type(response))   # <class 'requests.models.Response'>

# 设置相应的编码格式
response.encoding = 'utf-8'

# 以字符串的形式返回网页的源码
print(response.text)

# 返回url地址
print(response.url)

# 返回的是二进制的数据
print(response.content)

# 返回响应的状态码
print(response.status_code)

# 返回响应头
print(response.headers)

三、requests的get请求

import requests

url = 'https://ww.baidu.com/s?'
headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

data = {
    'wd':'北京'
}

# url:请求资源路径
# params:参数
# kwargs:字典
response = requests.get(url=url,params=data,headers=headers)

content = response.text

print(content)

# 总结
# 1.参数使用params传递
# 2.参数不需要urlencode编码
# 3.不需要请求对象的定制
# 4.请求资源中的 '?' 可以加，也可以不加

四、requests的post请求——百度翻译

import requests

url = 'https://fanyi.baidu.com/sug'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

data = {
    'kw':'spider'
}

# url:请求地址
# data:请求参数
# kwargs:字典
response = requests.post(url, data, headers)

content = response.text

# print(content)

import json

obj = json.loads(content,encoding='utf-8')
print(obj)

# 总结
# 1.post请求不要编解码
# 2.post请求的参数是data
# 3.不需要请求对象的定制

五、代理

import requests

url = 'http://www.baidu.com/s?'


headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

data = {
    'wd':'ip'
}

proxy = {
    'http':'183.236.123.242:8060'
}

response = requests.get(url=url, params=data, headers=headers, proxies=proxy)

content = response.text

with open('peoxy.html', 'w', encoding='utf-8') as file:
    file.write(content)

六、cookie登录——古诗文网

# 总结
# 难点
# 1. 隐藏域问题
# 2. 验证码

抓登录界面的接口：登录界面，输入错的信息点击登录。找到以“login”开头的名称，可以看到登录界面的参数。

data_post={
    '__VIEWSTATE': __viewstate,
    '__VIEWSTATEGENERATOR': __viewsategenerator,
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': 'your_emile',
    'pwd': 'your_pwd',
    'code': code_name,
    'denglu': '登录'
}

 在源代码中找到这两个变量，这两个变量被称为隐藏域

import requests
# 登录页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

# 获取网页源码
response = requests.get(url=url, headers=headers)
content = response.text

# 解析源码，获取值
from bs4 import BeautifulSoup
soup = BeautifulSoup(content,'lxml')
__viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')
__viewsategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')

# print(__viewstate)
# print(__viewsategenerator)

抓取登录接口的，发送post请求

url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'

data_post={
    '__VIEWSTATE': __viewstate,
    '__VIEWSTATEGENERATOR': __viewsategenerator,
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': 'your_emile',
    'pwd': 'your_pwd',
    'code': code_name,
    'denglu': '登录'
}

# response_post = requests.post(url=url, data=data_post, headers=headers)
# 使用session获取请求，就不能使用requests了
response_post = session.post(url=url, data=data_post, headers=headers)
content_post = response_post.text

with open('_088_gushi.html', 'w', encoding='utf-8') as file:
    file.write(content_post)

完整代码：

import requests

# 通过登录进入到主页面

# 通过登录接口我们发现，登录的时候需要的参数很多
# __VIEWSTATE: oVOa6GiRPyw/uXYlfbHShATrZDLYLwZCnEB1vZHb7b/sju65RzfnfkQpOUhAzSd2JgoDcceJlxAAoR9i9P7V8IAeapG992+yipGxh8poR0BnkU6xz0w27OTTkVtOcUG6D+X9W2mUeHZxTGdXwbCB9OVUZjA=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: your_emile
# pwd: hkhlgjkn
# code: gchb
# denglu: 登录

# 我们观察到 __VIEWSTATE ， __VIEWSTATEGENERATOR ， code 是一个变化的量

# 难点:(1) __VIEWSTATE ， __VIEWSTATEGENERATOR   # 一般情况下，看不见的数据都是在页面的源码中
#     我们观察到这两个数据在页面的源码中，所以我们需要获取页面的源码，然后进行解析、赋值就可以了
#     (2)  验证码

import requests
# 登录页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/118.0.0.0 Safari/537.36 Edg/118.0.2088.76"
}

# 获取网页源码
response = requests.get(url=url, headers=headers)
content = response.text

# 解析源码，获取值
from bs4 import BeautifulSoup
soup = BeautifulSoup(content,'lxml')
__viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')
__viewsategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')

# print(__viewstate)
# print(__viewsategenerator)

# 获取验证码图片
code = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn' + code
# print(code_url)

# urlretrieve 下载图片有坑 这里下载了图片，下次post请求验证码被刷新
import urllib.request
# urllib.request.urlretrieve(url=code_url, filename='_088_code.jpg')

# requests有个方法 session(),通过session的返回值，就能使请求变成一个对象
session = requests.session()
# 验证码url的内容
response_code = session.get(code_url)
# 注意，此时要使用二进制数据，因为我们要使用的是图片的下载
content_code = response_code.content
# 写二进制数据
with open('_088_code.png', 'wb') as file:
    file.write(content_code)


# 获取了验证码的图片之后，下载到本地，然后观察验证码，并将这个值赋给 ’code‘
code_name = input('input code')

# 点击登录
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'

data_post={
    '__VIEWSTATE': __viewstate,
    '__VIEWSTATEGENERATOR': __viewsategenerator,
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': 'your_emile',
    'pwd': 'your_pwd',
    'code': code_name,
    'denglu': '登录'
}

# response_post = requests.post(url=url, data=data_post, headers=headers)
# 使用session获取请求，就不能使用requests了
response_post = session.post(url=url, data=data_post, headers=headers)
content_post = response_post.text

with open('_088_gushi.html', 'w', encoding='utf-8') as file:
    file.write(content_post)


# 总结
# 难点
# 1. 隐藏域问题
# 2. 验证码

七、打码平台

打码平台可以自动识别验证码，如：超级鹰打码平台

参考

尚硅谷Python爬虫教程小白零基础速通（含python基础+爬虫案例）

Billie使劲学
关注
  • 13
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
python爬虫初认识requests库中的Request对象和Response对象
Maystyle的博客
02-16 1585
首先分析一段简短十分初级的爬虫代码 >>>import requests >>>r=requests.get("http://www.baidu.com") >>>print(r.status_code) 200 >>>type(r) <class 'requests.models.Response'> 当import requests库时会在内部生成Request对象，此类的方法如下： get方法通过url参数返回一个
python爬虫概述——深入了解爬虫原理
04-26
爬虫可以模拟客户端（浏览器）发送网络请求，接收请求响应，获取客户端（浏览器）所展示出来的数据。 爬虫的作用： 爬虫在互联网世界中有很多的作用，包括数据采集、软件测试、网络安全等。例如，爬虫可以抓取微博...
【图文详解】python爬虫实战——5分钟做个图片自动下载器.zip
03-01
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。 解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。 遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。 反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
爬虫基础入门——Requests轻松上手！
12-21
前言 目前自己在学习爬虫，故开始写博客来记录自己的学习心得并且顺便把自己的所学分享给各位想要学习爬虫的朋友。 Request是什么？ request是python中用于发送网络请求的库，底层基于urllib库，我们可以用它来模拟浏览器向网站服务器发送请求，从而拿到我们想要的数据内容，然后就可以对数据进行提取，得到我们想要的内容了。 爬虫流程 request做的就是第二、第三步。 Requests的安装 我前期用的是Windows系统下的pycharm编写的代码，故可以直接用pip安装request： pip3 install reqeusts -i https://pypi.tuna.tsi
爬虫系列(七) requests的基本使用
半虹小站
08-18 5171
requests 是一个功能强大、简单易用的 HTTP 请求库，可以使用 `pip install requests` 命令进行安装 下面我们将会介绍 requests 中常用的方法，详细内容请参考官方文档
Requests库详解
weixin_34034261的博客
05-13 240
requests(爬虫系列之一) 由于最近工作中，与同事对接模拟手机浏览器进行广告模拟跳转。又一次接触用到爬虫的知识，以前用过urllib + bs4 + selenium定向爬取网易一元夺宝的商品信息保存在数据库中，当时，还是太年轻，对爬虫不是很了解，对爬虫的robots协议也不知道。现在重新梳理一下爬虫的...
【python】爬虫系列之requests库介绍
sinat_41752325的博客
08-17 2616
python爬虫相关之requests模块相关介绍
requests.models.Response的常用属性
热门推荐
喵酱
08-08 1万+
背景：做request 请求的时，返回数据为requests.models.Response。我们需要对返回结果做处理 Response响应的常用属性： response.text # 响应回去的文本（字符串） response.content # 响应回去的内容（二进制），一般用来爬取视频response.status_code # 响应的状态码 response.url # 获取请求连接地址 response.cookies # 获取返回的cookies信息 response.cookies.get.
使用Python的requests库，轻松实现网络爬虫和数据抓取
qq_41314882的博客
10-14 1988
requests库是一个用于发送HTTP请求的Python库。它提供了一种简单而优雅的方式来处理HTTP通信，包括发送GET、POST和其他类型的请求，处理Cookie、会话管理、身份验证等功能。使用requests库，你可以轻松地与Web服务器进行交互，获取响应内容、处理响应头部信息、处理错误等。它是Python中最常用的HTTP库之一，被广泛用于网络爬虫、API调用和Web开发等应用场景。requests库的安装requests 的使用使用方法其它请求类型GET 请求传递参数。
Python爬虫——Requests 库基本使用
万里顾一程的博客
08-19 1734
Requests 库简介Requests 库是在 urllib 模块的基础上开发而来，继承了urllib.request的所有特性。Requests 采用了 Apache2 Licensed（一种开源协议）的 HTTP 库，支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的URL和POST数据自动编码。与urllib.request 相比，Requests 在使用时更加简洁方便、快捷，所以 Requests 库在编写爬虫程序时使用较多。....
Python爬虫入门——Requests库
12-23
学习爬虫之前呢，最好要对HTTP协议有了解，我前面有写过几篇关于HTTP协议的文章，建议读者阅读一下，对爬虫帮助很大。 1. requests 库的几个主要方法 方法 说明 requests.request（） 构造一个网页请求，支撑...
Java爬虫入门——使用Jsoup解析HTML页面.zip
03-08
爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL...
python爬虫项目——自动批量抓取m3u8网页视频
10-14
Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务，特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频，这是一个非常实用的技能，特别是对于那些需要收集网络视频数据的人来说。m3u8是一...
python WEB接口自动化测试之requests库详解
nhb687095的博客
03-24 598
把请求头信息进行处理，去掉一些没用的，保留一些有用头信息。# 发送get请求# 查看响应内容，response.text 返回的是Unicode格式的数据# 查看响应码。
使用Python接口自动化测试post请求和get请求，获取请求返回值
weixin_67553250的博客
07-05 2257
一般情况下，使用request传参时，会传入data或者json，什么情况下传data或者json，我们在接口文档或者系统接口请求时查看它的Content-Type的类型，如下图我们查看登录接口为：application/json，为json格式，则使用json参数。然后请求的时候，会把data赋值给post请求，然而这样是错误的，data的数据类型为dict，接口请求的数据类型为字符串，只不过是json格式的字符串，但是本质是字符串是不会改变的，如下图，直接使用data参数会提示传参失败，没有请求体；
requests库的七个主要方法及response对象的属性
weixin_42170439的博客
05-22 7349
requests库的七个主要方法（http的请求方法）及response对象的属性 Requests库的七个主要方法： 方法 说明 requests.request() 构造一个请求，支撑一下各方法的基础方法 requests.get() 获取HTML网页的主要方法，对应HTTP的GET requests.head() 获取HTML网页头的信息方法，...
Request 获取请求数据(方法)
yiqieanhaowzq的博客
08-10 1万+
String getMethod()：获取请求方式： GET String getContextPath()：获取虚拟目录(项目访问路径)： /request-demo StringBuffer getRequestURL(): 获取URL(统一资源定位符)：http://localhost:8080/request-demo/req1 String getRequestURI()：获取URI(统一资源标识符)： /request-demo/req1 String getQueryString()：获取请.
Python+Requests模块获取响应内容
阿里大叔说测试的博客
04-12 3954
Requests 中有一个内置的 JSON 解码器 response.json()，处理返回的 JSON 数据。响应包括响应行、响应头、响应正文内容，这些返回的响应信息都可以通过Requests模块获取。如果需要获取来自服务器的原始套接字响应，可以使用response.raw，如果确定要获取的话，还需要在初始请 求中设置stream=True。print(r.headers) #获取响应头 返回的是dict类型，可以继续使用get获取指定的值。print(r.encoding) #获取响应的编码格式。
SpringMVC源码分析
最新发布
他叫阿来
07-10 634
是，首先会经过`javax.servlet.http.HttpServlet#service(javax.servlet.ServletRequest, javax.servlet.ServletResponse)，在该方法中会调用。在web容器创建后，会调用到ioc容器的初始化方法。实现了该接口，进而在这个实现方法里面有调到了。，整个web容器便是在该方法中初始化完成。在ioc容器初始阶段的最后，会发布一个事件。监听到事件后，就开始初始化mvc的9大组件。方法，从而进行初始化，而·项目启动后，会先执行。
爬虫实战——网页抓取及信息提取
05-23
网页抓取及信息提取是爬虫的核心技术之一，它涉及到如何从网页中获取所需的信息并将其存储下来。以下是一个简单的爬虫实战示例，演示如何使用Python的requests和BeautifulSoup库从网页中获取信息。 首先，我们需要导入requests和BeautifulSoup库： ```python import requests from bs4 import BeautifulSoup ``` 接下来，我们可以使用requests库发送一个HTTP请求来获取网页内容： ```python url = 'http://www.example.com' response = requests.get(url) content = response.text ``` 在上面的代码中，我们定义了一个URL并使用requests库发送一个GET请求，得到了响应。然后使用response.text属性获取响应的文本内容。 接下来，我们使用BeautifulSoup库从网页中提取所需的信息。假设我们需要获取网页中的所有链接，可以使用以下代码： ```python soup = BeautifulSoup(content, 'html.parser') links = [] for link in soup.find_all('a'): links.append(link.get('href')) ``` 在上面的代码中，我们首先使用BeautifulSoup库将网页内容解析成一个BeautifulSoup对象。然后，使用find_all()方法查找所有的链接，并使用get()方法获取链接的href属性，最后将链接存储在一个列表中。 以上就是一个简单的网页抓取及信息提取的实战示例。当然，爬虫的实现涉及到更多的技术和细节，例如如何处理反爬机制、如何使用多线程或异步IO等等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Billie使劲学

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值