requests库

一：requests.get(url,params=None,**kwargs)

url：获取页面的url链接。

params：url中的额外参数，字典或者字节流格式，可选。

**kwargs：12个控制访问的参数。

二：Response对象的属性

r=requests.get(url)

r.status_code：HTTP请求的返回状态。

r.text：HTTP响应内容的字符串形式，即url对应的页面。

r.encoding：从HTTP　header中猜测的响应内容编码方式。

r.apparent_encoding：从内容中分析出的响应内容编码方式（备选编码方式）。

r.content：HTTP响应内容的二进制形式。

r.headers：获取响应头信息。

r.request.header：获取请求头信息。

注：

r.encoding：如果header中不存在charset，则认为编码为ISO-8859-1，r.text根据encoding显示网页内容。

r.apparent：根据网页内容分析出的编码方式，可以看做是r.encoding的备选。

r.raise_for_status()方法：如果不是200，抛出异常requests.HTTPError。

三：requests.post(url,data=None,json=None,**kwargs)

url：url链接。

data：字典、字节序列或文件。

json：JSON格式的数据。

**kwargs：12个控制访问的参数。

 

案例一：

　　import requests
　　url="http://www.yanshuo.me/"
　　try:
　　　　r=requests.get(url)
　　　　r.raise_for_status()
　　　　r.encoding=r.apparent_encoding
　　　　print(r.text)
　　except:
　　　　print("爬取失败")

案例二：

　　import requests
　　url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
　　header={'user-agent':'Mozilla/5.0'}
　　try:
　　　　r=requests.get(url,headers=header)
　　　　r.raise_for_status()
　　　　r.encoding=r.apparent_encoding
　　　　print(r.text)
　　except:
　　　　print("爬取失败")

转载于:https://www.cnblogs.com/sy-me/p/7500333.html