python模块requests_python模块----requests

一、r=requests.get(url,params=None,**kwargs)

Url:拟获取页面的url连接

Params：url中的额外参数，字典或字节流格式，可选

**kwargs：12个控制访问的参数

get构造一个向服务器请求资源的Request对象

r:为返回一个包含服务器资源的Response对象，包含爬虫返回的内容

二、Requests库的方法：

r.status_code ：HTTP请求的返回状态，200表示连接成功，404表示失败

r.text ：HTTP响应内容的字符串形式，即，url对应的页面内容根据，r.encoding显示网页内容

r.encoding ：从HTTP header中猜测的响应内容编码方式，如果header中不存在charset，则认为编码为ISO‐8859‐1

r.apparent_encoding： 从内容中分析出的响应内容编码方式（备选编码方式）

r.content ：HTTP响应内容的二进制形式

三、Requests库的异常

requests.ConnectionError

网络连接错误异常，如DNS查询失败、拒绝连接等

requests.HTTPError

HTTP错误异常

requests.URLRequired

URL缺失异常

requests.TooManyRedirects

超过最大重定向次数，产生重定向异常

requests.ConnectTimeout

连接远程服务器超时异常

requests.Timeout

请求URL超时，产生超时异常

r.raise_for_status()：如果不是200，产生异常requests.HTTPError，在方法内部判断r.status_code是否等于200，不需要增加额外的if语句，该语句便于利用try‐except进行异常处理

from requests import *

def getHTMLText(url):

try:

r=get(url,timeout=30)

r.raise_for_status()

r.encoding=r.apparent_encoding

return r.text

except:

return "出现异常"

if __name__ == '__main__':

print(getHTMLText("http://www.baidu.com"))

四、http对资源的操作与requests库的方法完全一致：

get 请求获取URL位置的资源

head 请求获取URL位置资源的响应消息报告，即获得该资源的头部信息

post请求向URL位置的资源后附加新的数据

put 请求向URL位置存储一个资源，覆盖原URL位置的资源

patch 请求局部更新URL位置的资源，即改变该处资源的部分内容

delete 请求删除URL位置存储的资源

1、head

from requests import *

r = head('http://httpbin.org/get')

print(r.headers)

print(r.text)

2、post方法：向url post一个字典或者键值对时，会被存放在表单form字段下

from requests import *

payload = {'key1': 'value1', 'key2': 'value2'}

r = post('http://httpbin.org/post', data = payload)

print(r.text)

{

"data": "",

"form": {

"key1": "value1",

"key2": "value2"

},

}

3、post方法：向url post一个字符串时，被存放在data字段下：

from requests import *

r = post('http://httpbin.org/post', data = "ABC")

print(r.text)

{

"data": "ABC",

"form": {},

}

4、put方法：会覆盖之前在form字段的方法

from requests import *

payload = {'key1': 'value1', 'key2': 'value2'}

r = put('http://httpbin.org/put', data = payload)

print(r.text)

{

"form": {

"key1": "value1",

"key2": "value2"

}

}

5.requests.request(method,url,**kwargs)

url :拟获取页面的url链接

method:请求方式

r = requests.request('GET',url,**kwargs)

r = requests.request('HEAD',url,**kwargs)

r = requests.request('POST',url,**kwargs)

r = requests.request('PUT',url,**kwargs)

r = requests.request('PATCH',url,**kwargs)

r = requests.request('delete',url,**kwargs）

**kwargs: 控制访问的参数，共13个：

6、params：字典或字节序列，作为参数增加到url中

from requests import *

payload = {'key1': 'value1', 'key2': 'value2'}

r = request("GET",'http://blog.csdn.net/winycg', params = payload)

print(r.url)

7、data :字典、字节序列或文件对象，作为Request的内容

data内容并不放在url里，而是放在url对应的位置存储起来，与“GET”和“POST”无关，只与参数有关

from requests import *

payload = {'key1': 'value1', 'key2': 'value2'}

r = request("POST",'http://blog.csdn.net/winycg', data = payload)

print(r.url)

r=request("POST",'http://blog.csdn.net/winycg', data = "sad")

print(r.url)

8、json : JSON格式的数据，作为Request的内容

存储在服务器的json域上

from requests import *

payload = {'key1': 'value1', 'key2': 'value2'}

r = request("POST",'http://blog.csdn.net/winycg', json = payload)

9、headers :字典，HTTP定制头

模拟浏览器向服务器发起访问

from requests import *

hd = {'user‐agent': 'Chrome/10'}

r = request('POST', 'http://python123.io/ws', headers=hd)

10、cookies : 字典或CookieJar，Request中的cookie

11、auth : 元组，支持HTTP认证功能

12、files : 字典类型，传输文件

向某个链接提交文件

from requests import *

fs={"file":open("data.txt","r")}

r = request("POST",'http://blog.csdn.net/winycg', files = fs)

13、timeout :设定超时时间，秒为单位

在规定的时间没有返回，就是出现timeout异常

r = requests.request('GET', 'http://www.baidu.com', timeout=10)

14、proxies : 字典类型，设定访问代理服务器，可以增加登录认证

隐藏用户爬虫的源IP地址

from requests import *

#设置http和https的代理服务器

pxs = { 'http': 'http://user:pass@10.10.10.1:1234',

'https': 'https://10.10.10.1:4321' }

r = request('GET', 'http://www.baidu.com', proxies=pxs)

15、allow_redirects : True/False，默认为True，重定向开关

16、stream : True/False，默认为True，获取内容立即下载开关

17、verify : True/False，默认为True，认证SSL证书开关

18、cert : 本地SSL证书路径

requests模块的使用实例

1、京东商品信息的爬取

import requests

url='http://item.jd.com/2967929.html'

try:

r=requests.get(url,timeout=30)

r.raise_for_status()

r.encoding=r.apparent_encoding

print(r.text[:1000]) #部分信息

except:

print("失败"）

2、亚马逊商品信息的爬取

该网页中对爬虫进行的爬取做了限制，因此我们需要伪装自己为浏览器发出的请求。

import requests

url='http://www.amazon.cn/gp/product/B01M8L5Z3Y'

try:

kv={'user_agent':'Mozilla/5.0'}

r=requests.get(url,headers=kv)#改变自己的请求数据

r.raise_for_status()

r.encoding=r.apparent_encoding

print(r.text[1000:2000]) #部分信息

except:

print("失败"）

3、百度搜索关键字提交

import requests

keyword='python'

try:

kv={'wd':keyword}

r=requests.get('https://www.baidu.com/s',params=kv)

r.raise_for_status()

r.encoding=r.apparent_encoding

print(len(r.text))

except:

print("失败"）

4、网络图片的爬取

import requests

import os

try:

url="http://baishi.baidu.com/watch/02167966440907275567.html"#图片地址

root="E:/pic/"

path=root+url.split("/")[-1]

if not os.path.exists(root): #目录不存在创建目录

os.mkdir(root)

if not os.path.exists(path): #文件不存在则下载

r=requests.get(url)

f=open(path,"wb")

f.write(r.content)

f.close()

print("文件下载成功")

else:

print("文件已经存在")

except:

print("获取失败")