python_解析_requests

最新推荐文章于 2024-03-29 18:26:22 发布
最新推荐文章于 2024-03-29 18:26:22 发布
阅读量1.5k 收藏 17
点赞数 39
分类专栏： python自学 文章标签： python 开发语言 前端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Hooray11/article/details/135316491
版权

目录

1.一个类型六个属性

2.requests的get请求

3.requests的post请求

4.requests的代理

5.requests_cookie登录_古诗文网

5.1网站

5.2分析思路

5.3成功

1.一个类型六个属性

import requests

url = 'https://www.baidu.com/'

response = requests.get(url=url)

# 一个类型和六个属性
# response类型
# print(type(response))

# 设置响应的编码格式
# response.encoding = 'utf-8'

# 以字符串的形式返回网页源码
# print(response.text)

# 返回一个url路径地址
# print(response.url)

# 返回二进制数据
# print(response.content)

#返回响应的状态码
# print(response.status_code)

# 返回响应头
print(response.headers)

2.requests的get请求

import requests

url = 'https://www.baidu.com/s?'

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

data = {
    'wd':'北京'
}

# get方法的解释
# url 请求资源路径
# params 参数
# kwargs 字典
response = requests.get(url=url,params=data,headers=headers)

content = response.text
print(content)

# 总结
# （1）参数使用params传递
# （2）参数无需urlencode编码
# （3）不需要请求对象的定制
# （4）请求资源路径中的?可以加也可以不加

3.requests的post请求

post请求总结：

（1）post请求 不需要编码

（2）post请求的参数是data

（3）不需要请求对象的定制

import requests

url ='https://fanyi.baidu.com/v2transapi?from=en&to=zh'

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82',
   'Cookie':'BIDUPSID=27C677FC03842E7B4593C0FC23E63309; PSTM=1633330321; BAIDUID=DA5564F1160BAB4A47C7DA6772F3B9EA:FG=1; APPGUIDE_10_6_7=1; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; BDUSS=RmcnNONVB5clZXSWlObUQtcFcxbWk1ZmZ6SW5Cc2ZnOVNhUFBWRE9NWlJRb1ZsSVFBQUFBJCQAAAAAAQAAAAEAAADR~t4MAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFG1XWVRtV1lME; BDUSS_BFESS=RmcnNONVB5clZXSWlObUQtcFcxbWk1ZmZ6SW5Cc2ZnOVNhUFBWRE9NWlJRb1ZsSVFBQUFBJCQAAAAAAQAAAAEAAADR~t4MAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAFG1XWVRtV1lME; H_PS_PSSID=39938_39997_40073; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; BAIDUID_BFESS=DA5564F1160BAB4A47C7DA6772F3B9EA:FG=1; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1703917057,1704008168; ab_sr=1.0.1_YjczYjU3OTM2OTI1ZmE0YjdiMGUxNzliNzdmZjlmZWUwYTk0N2UyNGUxYWY3NTgzMzRjNzEyMGRkZDJiZjhiZjk4MzQyZTA5OTA0YWMzZmFjZWIxNGU3ZjcxNDE4MDUwMWZkNzVjMGEyNDVmNzg1NjI3N2U4NThmMTczMGFkMzRkMWQ3NDRjZTI0OThhZTJlNDcwNzY0NTJkMjEzNThlMDg5ZDc2NzM1M2ExNTA4ZjlkZDhkODRhMDc4NmJkOWVh; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1704008283'
}

data = {
   'query':'eye'
}

# url 请求地址
# data 请求参数
# kwargs 字典
response = requests.post(url=url,data=data,headers=headers)

# response.encoding='utf-8'
content = response.text

import json

obj = json.loads(content,encoding='utf-8')

print(obj)

4.requests的代理

import requests

url = 'https://www.baidu.com/s?'

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

data = {
   'wd':'ip'
}

response = requests.get(url=url,params=data,headers=headers)

content = response.text

with open('daili.html','w',encoding='utf-8') as fp:
   fp.write(content)

5.requests_cookie登录_古诗文网

5.1网站

古诗文网-古诗文经典传承 (gushiwen.cn)

5.2分析思路

找登录接口——用错误的账号以及密码去找

# 通过寻找登录接口，发现登录所需要的参数很多
# __VIEWSTATE: rcqPht1PkBsYPR24enfG5AhgH0TB2gbOTFIbuzSrM4rvBPWZ+sJx2+q8paW/n/ai++1ApD56uCfnZeeMQSS6cdoiNfoXld+qqR8fzX6zitSHb4/N9y9M5L67S5DdxYNyxUKfDTcjpOgeL7xzH7mOa651tj8=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: 2647969182@qq.com
# pwd: 123456
# code: ei4d
# denglu: 登录
# __VIEWSTATE、__VIEWSTATEGENERATOR、code为可以变化的量


# 难点1：__VIEWSTATE、__VIEWSTATEGENERATOR   一般看不到的数据都在页面源码中
# 难点2：验证码

解决难点1：去查看页面的源码

由type='hidden'得知这两个数据为隐藏

我们观察到这两个数据在页面的源码中，所以我们需要获取页面的源码，然后进行解析就可以获取了

 

import requests

# 登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82'
}

# 获取网页的源码
response = requests.get(url=url,headers=headers)
content = response.text

# 解析页面源码 获取这两个变量__VIEWSTATE、__VIEWSTATE
from bs4 import BeautifulSoup

soup = BeautifulSoup(content,'lxml')

# 获取__VIEWSTATE
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')

# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')

print(viewstate)
print(viewstategenerator)

解决难点2：验证码

# 获取验证码
code = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn'+code

# 获取验证码的图片并且下载到本地 然后观察验证码 然后在控制台输入这个验证码
# 就可以将这个值给code的参数 就可以实现登录
import urllib.request
urllib.request.urlretrieve(url=code_url,filename='code.jpg')
code_name = input('请输入你的验证码：')

但是上面代码！！！！！！这个方法不行

所以需要用session ,session是什么没学哈哈哈哈哈哈

Python爬虫之Requests模块session进行登录状态保持_python 爬虫后如何长久保留登录状态-CSDN博客

# 获取验证码的图片并且下载到本地 然后观察验证码 然后在控制台输入这个验证码
# 就可以将这个值给code的参数 就可以实现登录

# 有坑——重新发送了一次请求导致两次的验证码不一样
# import urllib.request
# urllib.request.urlretrieve(url=code_url,filename='code.jpg')

# requests中一个方法 session()通过他的返回值使请求变成一个对象
session = requests.session()
# 验证码的url内容
response_code = session.get(code_url)
# 注意此时需要使用二进制的数据 因为我们要使用的是图片的下载
content_code = response_code.content
# wb模式就是讲二进制的数据写入到文件
with open('code.jpg','wb') as fp:
   fp.write(content_code)

5.3成功

import requests

# 登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

headers = {
   'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36 Edg/114.0.1823.82',
    # 'Cookie':'login=flase; Hm_lvt_9007fab6814e892d3020a64454da5a55=1704010564; ASP.NET_SessionId=stupofxeferpwbzf32utbmzy; login=flase; gswZhanghao=2647969182%40qq.com; wsEmail=2647969182%40qq.com; ticketStr=205155250%7cgQFk8DwAAAAAAAAAAS5odHRwOi8vd2VpeGluLnFxLmNvbS9xLzAyRXlMeVFqbGVkN2kxRm1XVU5CMTQAAgRWLZFlAwQAjScA; codeyzgswso=463ca75a496e570a; Hm_lpvt_9007fab6814e892d3020a64454da5a55=1704013495'
}

# 获取网页的源码
response = requests.get(url=url,headers=headers)
content = response.text

# 解析页面源码 获取这两个变量__VIEWSTATE、__VIEWSTATE
from bs4 import BeautifulSoup

soup = BeautifulSoup(content,'lxml')

# 获取__VIEWSTATE
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')
print(viewstate)

# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')
print(viewstategenerator)

# 获取验证码
code = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn'+code

# 获取验证码的图片并且下载到本地 然后观察验证码 然后在控制台输入这个验证码
# 就可以将这个值给code的参数 就可以实现登录

# 有坑——重新发送了一次请求导致两次的验证码不一样
# import urllib.request
# urllib.request.urlretrieve(url=code_url,filename='code.jpg')

# requests中一个方法 session()通过他的返回值使请求变成一个对象
session = requests.session()
# 验证码的url内容
response_code = session.get(code_url)
# 注意此时需要使用二进制的数据 因为我们要使用的是图片的下载
content_code = response_code.content
# wb模式就是讲二进制的数据写入到文件
with open('code.jpg','wb') as fp:
   fp.write(content_code)

code_name = input('请输入你的验证码：')

#点击登录
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'

data_post = {
   '__VIEWSTATE': viewstate,
   '__VIEWSTATEGENERATOR': viewstategenerator,
   'from': 'http://so.gushiwen.cn/user/collect.aspx',
   'email': '你的账户@qq.com',
   'pwd': '你的密码',
   'code': code_name,
   'denglu': '登录'
}

response_post = session.post(url=url_post,headers=headers,data=data_post)

content_post = response_post.text

with open('gushiwen.html','w',encoding='utf-8') as fp:
   fp.write(content_post)

Hooray11
关注
  • 39
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Python网络请求初级篇：使用Requests库抓取和解析数据
mate1357的博客
11-30 995
在网络编程中，请求和接收数据是最常见的任务之一。Python的Requests库提供了丰富的功能，使得HTTP请求变得非常简单。在本文中，我们将了解如何使用Requests库发起HTTP请求，并解析返回的数据。
python中——requests爬虫【中文乱码】的3种解决方法
2301_82000445的博客
01-25 8745
👉Python学习路线汇总👈Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（学习教程文末领取哈）👉Python必备开发工具👈。
python3的requests解析中
qq_43966957的博客
12-09 540
python3的requests解析中
python requests详解
欢迎来到爱吃熊掌的鱼的博客
03-25 4246
python requests库详解
自动化测试之（1）---python requests库详解
qq_19956683的博客
08-17 3098
Python requests库接口自动化中是普遍使用的第三方库，本文主要介绍requests的常用方法、属性及在接口自动化测试中的二次封装调用。
Python_Requests使用.pdf
12-27
Python_Requests使用, Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，Requests它会比url lib更加方便,urlLib库可以处理客户端的请求和服务器端的请求，还可以解析URL地址 ...
Python_requests_speech.zip
10-16
在"Python_requests_speech.zip"这个压缩包中，我们很可能找到了一个关于如何使用requests库来处理语音数据的教程或者项目。这个主题涉及到的IT知识点包括Python编程、HTTP协议、音频处理以及可能的自然语言处理技术...
python-requests离线包
04-15
Python是requests库的基础，必须先安装Python环境才能使用requests。 2. `certifi-2019.9.11-py2.py3-none-any.whl`: certifi是一个包含受信任的SSL证书的库，用于验证HTTPS连接的安全性。此版本适用于Python 2和3...
hupu.zip_python_web scraping
09-15
综上所述，"hupu.zip_python_web scraping"项目涉及了Python基础、网络爬虫技术、HTML解析、异常处理等多个方面的知识，通过实现这个项目，开发者可以提升网络数据获取和处理的能力。在实际操作中，还需要不断学习和...
baidu_python.rar_baidu_python_python搜索
09-21
标题 "baidu_python.rar_baidu_python_python搜索" 暗示了这个压缩包包含的资源是关于使用Python进行百度搜索引擎的爬虫程序。这通常涉及到网络爬虫的基础知识，如HTTP请求、HTML解析以及数据抓取，特别是针对百度...
python爬虫——request模块讲解
记录并分享学习安全的知识点..
03-07 1万+
一、概述 在后期渗透测试中，经常会遇到需要向第三方发送http请求的场景，python中的requests库可以很好的满足这一要求，Requests模块是一个用于网络请求的模块，主要用来模拟浏览器发请求。其实类似的模块有很多，比如urllib，urllib2，httplib，httplib2，他们基本都提供相似的功能。但是这些模块都复杂而且差不多过时了，requests模块简单强大高效，使得其在众多网络请求模块中脱引而出。 二、安装和基本步骤使用 环境安装：pip install requests 基
python爬虫——request模块讲解，从零开始学数据结构和算法
最新发布
2301_82242296的博客
03-29 915
get。
python篇-常用库09-requests
qadnkz的专栏
02-26 1131
requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，使用方法比urllib更加方便。
程序解码错误-由python的requests.post 请求结果乱码引起的思考
pbdatax的博客
02-14 717
最近，在使用python的requests.post的时候，不论结果如何处理，得到的都是乱码。然而，问题依旧!!!这时候，查看一下response返回结果的header信息里面的**{‘Content-Encoding’: ‘br’}** 这个引起了我的注意。于是就查了一下br是个什么东东？？原来**“br”**是一种新的压缩算法，全称是Brotli。我想，会不会是因为客户端不支持“br"这种算法导致的乱码呢？
Python requests模块快速上手
weixin_34290096的博客
09-19 836
2019独角兽企业重金招聘Python工程师标准>>> ...
Python——requests模块详解
m0_72557783的博客
12-06 7717
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。
数据爬虫（三）：python中requests库使用方法详解
Weiker的博客
02-02 9万+
一、什么是Requests Requests 是⽤Python语⾔编写，基于urllib，采⽤Apache2 Licensed开源协议的 HTTP 库。它⽐ urllib 更加⽅便，可以节约我们⼤量的⼯作，完全满⾜HTTP测试需求。 ⼀句话——Python实现的简单易⽤的HTTP库 二、安装Requests库 进入命令行win+R执行 命令：pip install requests ...
Python-第三方库requests详解
weixin_33671935的博客
12-16 8381
Requests 是用Python语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！ Beautiful is...
Python 使用requests发送POST请求
热门推荐
junli_chen的博客
12-15 29万+
一个http请求包括三个部分，为别为请求行，请求报头，消息主体，类似以下这样： 请求行  请求报头  消息主体 HTTP协议规定post提交的数据必须放在消息主体中，但是协议并没有规定必须使用什么编码方式。服务端通过是根据请求头中的Content-Type字段来获知请求中的消息主体是用何种方式进行编码，再对消息主体进行解析。具体的编码方式包括： application
python requests_html
09-14
Python的`requests_html`库是一个方便的工具，它基于`requests`库，并提供了对HTML页面的解析和处理功能。你可以使用它发送HTTP请求并解析响应内容。 要使用`requests_html`，你需要先安装它。可以使用以下命令来安装： ``` pip install requests_html ``` 安装完成后，你可以在代码中导入并使用它： ```python from requests_html import HTMLSession # 创建一个会话对象 session = HTMLSession() # 发送GET请求，并获取页面内容 response = session.get('https://www.example.com') # 解析页面内容 element = response.html.find('#some-element', first=True) if element: print(element.text) ``` 这是一个简单的示例，演示了如何使用`requests_html`发送请求并解析页面内容。你可以通过调用`.find()`方法来查找特定元素，并使用`.text`属性来获取其文本内容。 还有许多其他的功能和用法可以在`requests_html`中探索，例如执行JavaScript、处理表单、模拟登录等。你可以在官方文档中找到更多详细的信息和示例：https://requests-html.kennethreitz.org/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Hooray11

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值