requests库(一):

安装 pip install requests

requests库基本用法看中文文档,源码看github

官方文档: http://docs.python-requests.org/zh-CN/latest/index.html

官方中文文档:https://requests.readthedocs.io/zh_CN/latest/

github地址:http://github.com/requests/requests

还可以在pycharm中安装第三方库 file->settings->project->+

在这里插入图片描述

一、Request库的方法:

方法作用
r.status_code获取状态码
r.encoding从请求头header中猜测的响应内容编码方式 ,如果header中不存在charset,则认为编码为ISO‐8859‐1
r.apparent_encoding从内容中分析出的响应内容编码方式(备选编码方式)
r.content获取响应内容的二进制bytes形式
r.text获取响应内容的str字符串形式

二、Requests库的异常

异常类型含义
requests.ConnectionError网络连接错误异常,如DNS查询失败、拒绝连接等
requests.HTTPErrorHTTP错误异常
requests.URLRequiredURL缺失异常
requests.TooManyRedirects超过最大重定向次数,产生重定向异常
requests.ConnectTimeout连接远程服务器超时异常
requests.Timeout请求URL超时,产生超时异常
r.raise_for_status()语句:
	如果不是200,产生异常requests.HTTPError
	在方法内部判断r.status_code是否等于200,不需要增加额外的if语句,
	该语句便于利用tryexcept进行异常处理

爬取网页的框架代码:

from requests import *
def getHTMLText(url):
    try:
        r=get(url,timeout=30)
        r.raise_for_status()
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return "出现异常"
 
if __name__ == '__main__':
    print(getHTMLText("http://www.baidu.com"))

三、请求的方法requests.method()

method作用
get请求获取URL位置的资源
post请求向URL位置的资源后附加新的数据
head请求获取URL位置资源的响应消息报告,即获得该资源的头部信息
put请求向URL位置存储一个资源,覆盖原URL位置的资源
patch请求局部更新URL位置的资源,即改变该处资源的部分内容
delete请求删除URL位置存储的资源
head:

from requests import *
r = head('http://httpbin.org/get')
print(r.headers)
print(r.text)

{'Connection': 'keep-alive', 'Server': 'meinheld/0.6.1', 'Date': 'Wed, 27 Sep 2017 15:19:45 GMT', 'Content-Type': 'application/json', 'Access-Control-Allow-Origin': '*', 'Access-Control-Allow-Credentials': 'true', 'X-Powered-By': 'Flask', 'X-Processed-Time': '0.000652074813843', 'Content-Length': '262', 'Via': '1.1 vegur'}
r.text输出为空
get方法:
r=requests.get(url,params=None,**kwargs)
Url:拟获取页面的url连接
Params:url中的额外参数,字典或字节流格式,可选
**kwargs:12个控制访问的参数

get构造一个向服务器请求资源的Request对象
r为返回一个包含服务器资源的Response对象,包含爬虫返回的内容
post方法(1):
r=requests.post(url, data=None, json=None, **kwargs)
	非字节类型(如字典)的data自动编码成字节bytes(中文也不需要自己手动去编码转换)
	区分urllib的data
		必须是字节bytes
	 	是字典时需要urlencode()手动转字符str,strstr.encode()或者bytes(str,encoding)
	 	
	向url post一个字典或者键值对时,会被存放在表单form字段下

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = post('http://httpbin.org/post', data = payload)
print(r.text)

{
   ...
  "data": "", 
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }, 
  ...
}
post方法(2):向url post一个字符串时,被存放在data字段下:

from requests import *
r = post('http://httpbin.org/post', data = "ABC")
print(r.text)

{
  ...
  "data": "ABC", 
  "form": {}, 
   ...
}
put方法:
put(url, data=None, **kwargs)
	会覆盖之前在form字段的方法

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = put('http://httpbin.org/put', data = payload)
print(r.text)

{
  ...
  "form": {
    "key1": "value1", 
    "key2": "value2"
  }
  ...
}

四、请求的方法requests.request(method,url,**kwargs)

requests.request(method,url,**kwargs):
	url :拟获取页面的url链接
	method:请求方式
		r = requests.request('GET',url,**kwargs)
		r = requests.request('HEAD',url,**kwargs)
		r = requests.request('POST',url,**kwargs)
		r = requests.request('PUT',url,**kwargs)
		r = requests.request('PATCH',url,**kwargs)
		r = requests.request('delete',url,**kwargs) 
	**kwargs :  控制访问的参数,共 13 个
		(1)params
		(2)data
		(3)json
		(4)headers
		(5)cookies
		(6)auth
		(7)files
		(8)timeout
		(9)proxies
		(10)allow_redirects : True/False,默认为True,重定向开关
		(11)stream : True/False,默认为True,获取内容立即下载开关
		(12)verify : True/False,默认为True,认证SSL证书开关
		(13)cert : 本地SSL证书路径
1.params:字典或字节序列,作为参数增加到url中

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("GET",'http://blog.csdn.net/winycg', params = payload)
print(r.url)

输出:http://blog.csdn.net/winycg?key1=value1&key2=value2
2.data :字典、字节序列或文件对象,作为Request的内容
	data内容不放在url里,而是放在url对应的位置存储起来,与“GET”和“POST”无关,只与参数有关
	非字节类型(如字典)自动编码成字节bytes(中文也不需要自己手动去编码转换)
	传文件时不一定非要把文件放在data域,也可以放到指定的files域,后文会提到
	
	区分urllib的data
		必须是字节bytes
	 	是字典时需要urlencode()手动转字符str,strstr.encode()或者bytes(str,encoding)

from requests import *
payload = {'key1': 'value1', 'key2': 'value2'}
r = request("POST",'http://blog.csdn.net/winycg', data = payload)
print(r.url)
r=request("POST",'http://blog.csdn.net/winycg', data = "sad")
print(r.url)

输出:http://blog.csdn.net/winycg
           http://blog.csdn.net/winycg

4.headers :字典,HTTP定制头,模拟浏览器向服务器发起访问

from requests import *
hd = {'user‐agent': 'Chrome/10'}
r = request('POST', 'http://python123.io/ws', headers=hd)

5.cookies : 字典或CookieJar,Request中的cookie
6.auth : 元组,支持HTTP认证功能

7.files : 字典类型,传输文件,向某个链接提交文件

from requests import *
fs={"file":open("data.txt","r")}
r = request("POST",'http://blog.csdn.net/winycg', files = fs)

8.timeout : 设定超时时间,秒为单位 ,在规定的时间没有返回,就是出现timeout异常

r = requests.request('GET', 'http://www.baidu.com', timeout=10)

9.proxies : 字典类型,设定访问代理服务器,可以增加登录认证,隐藏用户爬虫的源IP地址

from requests import *
#设置http和https的代理服务器
pxs = { 'http': 'http://user:pass@10.10.10.1:1234',
'https': 'https://10.10.10.1:4321' }
r = request('GET', 'http://www.baidu.com', proxies=pxs)

10.allow_redirects : True/False,默认为True,重定向开关
11.stream : True/False,默认为True,获取内容立即下载开关
12.verify : True/False,默认为True,认证SSL证书开关
13.cert : 本地SSL证书路径

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值