python爬虫7-request

最新推荐文章于 2024-08-03 14:18:54 发布
最新推荐文章于 2024-08-03 14:18:54 发布
阅读量828 收藏 5
点赞数 8
文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79758400/article/details/139025331
版权

request

1.基本使用

1.文档：
	官方文档
		http://cn.python‐requests.org/zh_CN/latest/
	快速上手
		http://cn.python‐requests.org/zh_CN/latest/user/quickstart.html

2.安装
pip install requests

3.response的属性以及类型
	类型 ：models.Response
	r.text : 获取网站源码
	r.encoding ：访问或定制编码方式
	r.url ：获取请求的url
	r.content ：响应的字节类型
	r.status_code ：响应的状态码
	r.headers ：响应的头信息


import requests


url = 'http://www.baidu.com'


response = requests.get(url=url)

# 一个类型和六个属性
# Response类型
# print(type(response))

# 设置响应的编码格式
# response.encoding = 'utf-8'

# 以字符串的形式来返回了网页的源码
# print(response.text)

# 返回一个url地址
# print(response.url)

# 返回的是二进制的数据
# print(response.content)

# 返回响应的状态码
# print(response.status_code)

# 返回的是响应头
print(response.headers)

2.get请求


# urllib
# (1) 一个类型以及六个方法
# （2）get请求
# （3）post请求   百度翻译
# （4）ajax的get请求
# （5）ajax的post请求
# （6）cookie登陆 微博
# （7）代理


# requests
# (1)一个类型以及六个属性
# （2）get请求
# （3）post请求
# （4）代理
# （5）cookie  验证码


import requests

url = 'https://www.baidu.com/s'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

data = {
    'wd':'北京'
}


# url  请求资源路径
# params 参数
# kwargs 字典
response = requests.get(url=url,params=data,headers=headers)

content = response.text

print(content)

# 总结：
# （1）参数使用params传递
# （2）参数无需urlencode编码
# （3）不需要请求对象的定制
# （4）请求资源路径中的？可以加也可以不加

3.post请求

get和post区别？
1： get请求的参数名字是params post请求的参数的名字是data
2： 请求资源路径后面可以不加?
3： 不需要手动编解码
4： 不需要做请求对象的定制



import requests

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

data = {
    'kw': 'eye'
}

# url 请求地址
# data 请求参数
# kwargs 字典
response = requests.post(url=url,data=data,headers=headers)

# 方式1：
content = response.json()

# 方式2
# content = response.text
# import json
# content = json.loads(content)


print(content)

# 总结：
# （1）post请求 是不需要编解码
# （2）post请求的参数是data
# （3）不需要请求对象的定制

4.代理

	proxy定制
	在请求中设置proxies参数
	参数类型是一个字典类型
	eg:
		import requests
		url = 'http://www.baidu.com/s?'
		headers = {
			'user‐agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,
		like Gecko) Chrome/65.0.3325.181 Safari/537.36'
		}
		data = {
			'wd':'ip'
		}
		proxy = {
			'http':'219.149.59.250:9797'
		}
		r = requests.get(url=url,params=data,headers=headers,proxies=proxy)
		with open('proxy.html','w',encoding='utf‐8') as fp:
			fp.write(r.text)

示例：



import requests

url = 'https://zh-hans.ipshu.com/my_info'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/124.0.0.0 Safari/537.36',
}

# data = {
#     'wd':'ip'
# }


proxy = {
    'https':'112.194.89.38:41122'
}

response = requests.get(url = url,headers = headers,proxies = proxy)

content = response.text

with open('daili.html','w',encoding='utf-8')as fp:
    fp.write(content)

4.cookie登入

我们首先输入错误的信息登入，同时观察network界面，network界面会出现login
一般login是登入接口。
通过登入接口我们发现 登入时候需要的登入参数很多
我们一个一个的进行分析
在这里插入图片描述

from: http://so.gushiwen.cn/user/collect.aspx
__VIEWSTATE: RfbE0QXSx6E6uCM8MtbCh9VWBwt7spo8d1IykqWl3aQZs7ghQUO4W0Y8VrOufF55KBAABmLDZcd9DLsh3SYi1kHYjQ4OCVqePM9daLTjdvnvhlxu68gXNMO/yb105ul2BTo5Zsqya/i+ZDGZF8eypXIBppA=
__VIEWSTATEGENERATOR: C93BE1AE
from: https://www.gushiwen.cn/
email: 12345678902
pwd: 12312432
code: Au17
denglu: 登录

其中我们发现这些都有其的对应关系
from–>网址
email–>账号
pwd–>密码
code–>验证码
其中只有三个参数是变量

__VIEWSTATE: 
__VIEWSTATEGENERATOR:
code:

难点:
(1)_VIEWSTATE __VIEWSTATEGENERATOR 一般情况看不到的数据 都是在页面的源码中
我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
(2)验证码

我们通过右键查看页面的源码，ctrl+f查找_VIEWSTATE ，我们可以看到hidden，hidden是一个隐藏域，在页面中不显示，但是在页面中存在

接下来我们获取验证码
我们定位到该元素，id=imgcode
在这里插入图片描述
src后面跟随着一个网站，我们打开该网站我们发现就是登入页面的验证码

在这里插入图片描述

# 获取了验证码的图片之后 下载到本地 然后观察验证码  观察之后 然后在控制台输入这个验证码 就可以将这个值给
# code的参数 就可以登

接下来我们获取登入接口，我们在获取时建议将在这里插入图片描述
勾选上，如果是老版本的chrome浏览器没有勾选上，在登入成功之后会将login文件删除，勾选上了之后登入信息便会保存下来

我们发现登入接口是post请求在这里插入图片描述
我们将Request URL复制下来作为url_post
我们将其参数都粘贴下来，其中要注意的是
__VIEWSTATE:,_VIEWSTATEGENERATOR: ，code是变化的参数,我们将它们各自获取的值赋值给它的value

在这里插入图片描述

# 通过登陆  然后进入到主页面


# 通过找登陆接口我们发现 登陆的时候需要的参数很多
# _VIEWSTATE: /m1O5dxmOo7f1qlmvtnyNyhhaUrWNVTs3TMKIsm1lvpIgs0WWWUCQHl5iMrvLlwnsqLUN6Wh1aNpitc4WnOt0So3k6UYdFyqCPI6jWSvC8yBA1Q39I7uuR4NjGo=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: 595165358@qq.com
# pwd: action
# code: PId7
# denglu: 登录

# 我们观察到_VIEWSTATE   __VIEWSTATEGENERATOR  code是一个可以变化的量

# 难点:(1)_VIEWSTATE   __VIEWSTATEGENERATOR  一般情况看不到的数据 都是在页面的源码中
#     我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
#     (2)验证码

import requests


# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.aspx'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

# 获取页面的源码
response = requests.get(url = url,headers = headers)
content = response.text

# 解析页面源码  然后获取_VIEWSTATE   __VIEWSTATEGENERATOR
from bs4 import BeautifulSoup

soup = BeautifulSoup(content,'lxml')

# 获取_VIEWSTATE
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')

# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')


# 获取验证码图片
code = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn' + code

# 有坑
# import urllib.request
# urllib.request.urlretrieve(url=code_url,filename='code.jpg')，
# 原因是如果在下面进行请求的话，
# response_post = requests.post(url = url, headers = headers, data = data_post)上面下载的验证码和下面请求到的验证码就不是同一个验证码，所以会导致出现验证码错误的页面
# requests里面有一个方法 session（）  通过session的返回值 就能使用请求变成一个对象，但是我们在请求时需要将requests改成session

session = requests.session()
# 验证码的url的内容
response_code = session.get(code_url)
# 注意此时要使用二进制数据  因为我们要使用的是图片的下载
content_code = response_code.content
# wb的模式就是将二进制数据写入到文件
with open('code.jpg','wb')as fp:
    fp.write(content_code)






code_name = input('请输入你的验证码')


# 点击登陆
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'

data_post = {
    '__VIEWSTATE': viewstate,
    '__VIEWSTATEGENERATOR': viewstategenerator,
    'from': 'http://so.gushiwen.cn/user/collect.aspx',
    'email': '595165358@qq.com',
    'pwd': 'action',
    'code': code_name,
    'denglu': '登录',
}

response_post = session.post(url = url, headers = headers, data = data_post)

content_post = response_post.text

with open('gushiwen.html','w',encoding= ' utf-8')as fp:
    fp.write(content_post)


# 难点
# （1） 隐藏域
# （2） 验证码

需要注意的是我们需要先到资源管理器中查看该图片，后面在到pycharm中才能看到该文件，因为pycharm中加载的比较慢

xtone.
关注
Python中的urllib模块：处理URL和网络请求
派森的博客
07-14 386
Python中的urllib模块：处理URL和网络请求
python爬虫-----request模块学习及案例
qq_43710889的博客
03-17 2004
文章目录python爬虫-----request模块学习及案例基本知识str和bytes的区别urllib库常见方法Request对象User-AgentGet请求方法下载百度贴吧案例1.简单的网页收集器2.爬取百度翻译内容3.爬取豆瓣电影4.爬取kfc餐厅地址位置5.爬取药监总局 python爬虫-----request模块学习及案例 基本知识 str和bytes的区别 python3中： str 使用encode方法转化为 bytes bytes通过decode转化为str 在Python 3中把两者给
python requests【1】处理url模块
爱死亡机器人
10-10 2518
1. 简介 requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的： 2. 安装 pip install requests 3. 方法 import requests HTTP请求：GET、POST、PUT、DELETE、HEAD、OPTIONS requests.get("http://xxxx.com/") requests.post("http://xxxx.com/post", data
Python爬虫详解：原理、常用库与实战案例！
最新发布
2301_78217634的博客
08-03 2153
【点击这里】
python requests url编码_Python+Requests编码识别Bug
weixin_39726873的博客
12-05 156
Requests 是使用 Apache2 Licensed 许可证的 HTTP 库。用 Python 编写，更友好，更易用。Requests 使用的是 urllib3，因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池，支持使用 cookie 保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。现代、国际化、人性化。最近在使...
Python requests包获取URL资源实现数据抓取（1）
hongwen_han的博客
07-27 5828
requests包是python使用最多的第三方URL获取资源的包，可以轻松实现get/post访问、接口测试等。本节主要介绍如何使用requests包和调用get请求，其中还有raise RequestsJSONDecodeError(e.msg, e.doc, e.pos)错误处理，url请求头信息获取和主要参数介绍。...
01 python 爬虫基础 (url request)
March_A的博客
02-02 694
urllib是Python自带的标准库中用于网络请求的库，无需安装，直接引用即可通常用于爬虫开发、API（应用程序编程接口）数据获取和测试urllib库的4大模块urllib.request :用于打开和读取URLurllib.error:包含提出的例外(异常)urllib.requesturllib.parse:用于解析URLurllib.robotparser:用于解析robots.txt文件kw = {'wd':'马士兵'}# 编写# 解码print(res)
Python爬虫实例-urllib-request-parse等包的学习实例
08-18
Python爬虫实例-urllib，request，parse，json等包的应用
python爬虫资源 - 免费下载
03-20
Python 爬虫资源 本文将对 Python 爬虫资源进行详细的介绍，包括 Python 爬虫的基本概念、requests 库的使用、BeautifulSoup 库的使用、XPath 解析方法等。 Python 爬虫的基本概念 Python 爬虫是使用 Python 语言...
python爬虫实现POST request payload形式的请求
09-17
Python爬虫实现POST请求，尤其是以request payload形式发送数据，是一种常见的网络抓取技术，尤其在处理需要提交复杂数据或模拟登录的场景中至关重要。在HTTP请求中，POST请求通常用于向服务器提交数据，而数据的...
python request url 转义_Python爬虫这么久了，它们三兄弟终于搞清楚了（干货）
weixin_39846361的博客
11-21 1791
点击上面“蓝字”关注我们！urllib，urllib2和 urllib3的区别01/11周五晴 在可供使用的网络库中，urllib和urllib2可能是投入产出比最高的两个，是Python中操作url的官方标准库。它们让你能够通过网络访问文件，就像这些文件位于你的计算机中一样。只需一个简单的函数调用，就几乎可将统一资源定位符(URL)可指向的任何动作作为程序的输入。结合re...
Python 简单运用URL请求库
CSDN
01-07 9342
爬虫是指编写程序来自动抓取互联网上的信息。在Python中，有一些常用的库可以帮助你实现爬虫功能。
Python爬虫 requests教学（二）：URL地址中的参数
热门推荐
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
03-24 1万+
在使用requests模块发送请求之前，我们就要回顾之前学习到的url(统一资源定位符)。 在你拿到数据所在的url地址之后，发送网络请求时，请求的url中包含两种地址参数:查询参数和请求参数。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群：1039649593 查询参数 当我们爬一些特殊网址时，请求的url中会有一些特殊的参数，例如以下站点: 这种是URL的查.
Python爬虫基础(一)--简单的url请求
passer_zzy的博客
07-30 6078
#encoding:UTF-8 import urllib import urllib.request # data是一个字典，然后通过urllib.parse.urlencode()将data转换为'wd = 904727147'的字符串 #最后和url合并为full_url # urllib.request是一个库,隶属urllib,urllib是一个收集了很多处理url的包，开放网址的可扩展
python 请求url-api总结[写爬虫基础]
jiangnankid的专栏
07-03 737
requests库： get请求： second_html = requests.get(sel_url, headers=headers) Soup2 = BeautifulSoup(second_html.text,"html.parser") post json请求： res = requests.post(url,data=json.dumps(values),headers={'Content-Type':'application/json'}) print(res.json())
如何用python访问URL
weixin_33755554的博客
11-17 2031
2019独角兽企业重金招聘Python工程师标准>>> ...
Python爬虫--使用 Requests 获取网页
2401_84208172的博客
04-21 1093
‍requests包用于获取网站的内容，使用HTTP协议，基于urllib3实现。其官方中文文档为：Requests: HTTP for Humansrequests的基本使用方法很简单，这里记录一些最常用的方法，完整的介绍见其官方文档，以下介绍基于Python 3.5。使用requests首先需要导入它： 发送请求 最基本的方法是GET请求： 返回的r是一个类对象，包含所有返回数据，可以从这个Response中提取所需的信息。除了外，常用的请求还有，用法完全相同。除此之外requests也支持其它各种请求
Python的网络请求
橙子味冰可乐的博客
06-14 995
requests是Python中实现HTTP请求的一种方式，requests是第三方模块，该模块在实现HTTP请求时要比urllib模块简化很多，操作更加人性化。上面的示例中，是通过get请求方式获取百度的网页内容。说明：这里通过http://httpbin.org/post网站进行演示，该网站可以作为练习使用urllib的一个站点使用，可以模拟各种请求操作。requests.put('http://httpbin.org/put',data = {'key':'value'}) # PUT请求。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值