python网站框架requestpostgetpatch_Python request库与爬虫框架

Requests库的7个主要方法

requests.request():构造一个请求,支持以下各方法的基础方法

requests.get():获取HTML网页的主要方法,对应于HTTP的GET

requests.head():获取HTML网页头信息的方法,对应于HTTP的HEAD

requests.post():向HTML网页提交POST请求的方法,对应于HTTP的POST

requests.put():向HTML网页提交PUT请求的方法,对应于HTTP的PUT

requests.patch():向HTML网页提交局部修改请求,对应于HTTP的PATCH

requests.delete():向HTML网页提交删除请求,对应于HTTP的Delete

HTTP协议对资源的操作(6种)与以上方法一一对应

GET:请求URL位置的资源

HEAD:请求获取URL位置资源的响应消息报告,即获得该资源的头部信息

POST:请求向URL位置的资源后附加新的数据

PUT:请求向URL位置存储一个资源,覆盖原URL位置的资源

PATCH:请求局部更新URL位置的资源,即改变该处资源的部分内容

DELETE:请求删除URL位置存储的资源

【注】PATCH和PUT的区别

假设URL位置有一组数据UserInfo,包括UserID,UserName等20个字段

需求:用户修改了UserName,其他不变

*采用PATCH方法,仅向URL提交UserName的局部更新请求

*采用PUT方法,由于他会覆盖原有URL位置资源,

所以必须将所有20个字段一并提交到URL,未提交字段被删除

比较PATCH和PUT看出

Patch的最主要好处:节省网络带宽

HTTP协议:HypertextTransferProtocol,超文本传输协议

它是一个基于"请求与相应"模式的、

无状态的(第一次请求和第二次无相关关联)应用层协议

它一般采用URL作为网络资源的标识

URL是通过HTTP协议存取资源的Internet路径,一个URL对应一个数据资源

URL格式如下http://host[:port][path]

host:合法的Internet主机域名或IP地址

port:端口号,缺省(默认)端口为80P

path:请求资源的路径

当我们向URLPOST一个字典或POST一个键值对时会默认地被存储到表单form的字段下

当我们向URLPOST字符串时会默认地被存储到data的字段下

服务器会根据提交的数据类型不同进行相关的整理

PUT方法相同,但是会把原有数据覆盖掉

'''

requests.request(method,url,**kwargs)

method:请求方式,对应get/put/post等7种

requests.request('GET',url,**kwargs)

requests.request('HEAD',url,**kwargs)

requests.request('POST',url,**kwargs)

requests.request('PUT',url,**kwargs)

requests.request('PATCH',url,**kwargs)

requests.request('delete',url,**kwargs)

requests.request('OPTIONS',url,**kwargs)

#向服务器获取一些与客户端打交道的参数,不与资源直接相关所以使用较少

url:拟获取页面的url链接

**kwargs:控制访问参数,共13个

'''

#显式定义的参数放在了形参里面,不怎么用的放在了可选里面

'''

###########################最常用

requests.get(url,params=None,**kwargs)

url:拟获取页面的url链接

params:url中的额外参数,字典或字节流格式,可选

**kwargs:12个控制访问参数(request方法中除了param之外的12个)

'''

'''

requests.head(url,**kwargs)

url:拟获取页面的url链接

**kwargs:13个控制访问参数

'''

'''

requests.post(url,data=None,json=None,**kwargs)

url:拟获取页面的url链接

data:字典、字节序列或文件,Request的内容

json:JSON格式的数据,Request的内容

**kwargs:11个控制访问参数(除了以上两个的11个)

'''

'''

requests.put(url,data=None,**kwargs)

url:拟获取页面的url链接

data:字典、字节序列或文件,Request的内容

**kwargs:12个控制访问参数(除了以上1个的12个)

'''

'''

requests.patch(url,data=None,**kwargs)

url:拟获取页面的url链接

data:字典、字节序列或文件,Request的内容

**kwargs:12个控制访问参数(除了以上1个的12个)

'''

'''

requests.delete(url,**kwargs)

url:拟获取页面的url链接

**kwargs:13个控制访问参数

'''

'''爬取网页的通用代码框架

通用代码框架:一组代码,可以准确的爬取网页上的内容

用request库进行网页访问的时候经常用get函数

requests.get(url)获得url的相关内容

但是网络连接有风险

这样的语句并不是一定成立的,所以异常处理很重要

request库支持6种常用的连接异常'''

#request.ConnectionError:网络连接异常,如DNS查询失败、拒绝连接等#request.HTTPError:HTTP错误异常#request.URLRequired:URL缺失异常#request.TooManyRedirects:超过最大重定向次数,产生重定向异常#request.ConnectTimeout:连接远程服务器超时异常#request.TimeOut:请求URL超时,产生超时异常

'''Response类与异常打交道的方法

r.raise_for_status():如果不是200,产生异常request.HTTPError

判断返回的response类型状态是不是200'''

importrequestsdefgetHTMLText(url):try:

r=requests.get(url,timeout = 30)#,timeout = 30

r.raise_for_status()#如果状态不是200,引发HTTPError异常

r.encoding =r.apparent_encoding#防乱码

returnr.textexcept:return "产生异常"

if __name__=="__main__":

url="http://www.baidu.com"

print(getHTMLText(url))

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值