RequestsNote

HTTP协议

HTTP，Hypertext Transfer Protocol，超文本传输协议

HTTP是一个基于“请求与响应”模式的、无状态的应用层协议 HTTP协议采用URL作为定位网络资源的标识，URL格式如下：

[http://host[:port][path]]:

host: 合法的Internet主机域名或IP地址

port: 端口号，缺省端口为80

path: 请求资源的路径

HTTP URL实例：

[https://www.baidu.com/]:

HTTP协议对资源的操作

方法	说明
GET	请求获取URL位置的资源
HEAD	请求获取URL位置资源的响应消息报告，即获得该资源的头部信息
POST	请求向URL位置的资源后附加新的数据
PUT	请求向URL位置存储一个资源，覆盖原URL位置的资源
PATCH	请求局部更新URL位置的资源，即改变该处资源的部分内容
DELETE	请求删除URL位置存储的资源

PATCH的最主要好处：节省网络带宽

Requests库

pip install requests (管理员模式运行)

import requests
r=requests.get("http://www.baidu.com")
print(r.status_code) #返回200代表成功

七种主要方法

方法	说明
requests.request()	构造一个请求，支撑以下各方法的基础方法
requests.get()	获取HTML网页的主要方法，对应于HTTP的GET
requests.head()	获取HTML网页头信息的方法，对应于HTTP的HEAD
requests.post(）	向HTML网页提交POST请求的方法，对应于HTTP的POST
requests.put()	向HTML网页提交PUT请求的方法，对应于HTTP的PUT
requests.patch()	向HTML网页提交局部修改请求，对应于HTTP的PATCH
requests.delete()	向HTML页面提交删除请求，对应于HTTP的DELETE

requests.get(url, params=None, *kwargs) ∙ //*号代表可选

**url : 拟获取页面的url链接 ∙ **

params : url中的额外参数，字典或字节流格式，

**可选 ∙ **kwargs: 12个控制访问的参数

（1）params：字典或者字节序列，作为参数增加到url中

kv = {'key1': 'value1', 'key2': 'value2'}

r = requests.request('GET', 'http://python123.io/ws', params = kv)

print(r.url)
#https://python123.io/ws?key1=value1&key2=value2

（2）data：字典或者字节序列或者文件对象，作为Request的内容

kv = {'key1': 'value1', 'key2': 'value2'}

r = requests.request('POST', 'http://python123.io/ws', data = kv)

body = '主体内容'

r = requests.request('POST', 'http://python123.io/ws', data = body)

（3）json：JSON格式的数据，作为Request的内容

（4）headers：字典，HTTP定制头

hd = {'user-agent': 'Chrome/10'}

r = requests.request('POST', 'http://python123.io/ws', header = hd)

（5）cookies：字典或CookieJar，Request中的cookie

（6）auth：元祖，支持HTTP认证功能

（7）files：字典类型，传输文件

fs = {'file': open('data.xls', 'rb')}

 r = requests.request('POST', 'http://python123.io/ws', files = fs)

（8）timeout：设定超时时间，秒为单位

（9）proxies：字典类型，设定访问代理服务器，可以增加登录认证

访问百度时，所使用IP地址为代理服务器的IP地址，有效地防止爬取的逆追踪

pxs = { 'http': 'http://user:pass@10.10.10.1:1234',

... 'https':'https://10.10.10.1:4321' }

 r = requests.request('GET', 'http://www.baidu.com', proxies = pxs)

（10）allow_redirects：True/False，默认为True，重定向开关

（11）stream：True/False，默认为True，获取内容立即下载开关

（12）verify：True/False，默认为True，认证SSL证书开关

（13）cert：本地SSL证书路径

response对象

属性	说明
r.status_code	HTTP请求的返回状态，200表示连接成功，404表示失败
r.text	HTTP响应内容的字符串形式，即，url对应的页面内容
r.encoding	从HTTP header中猜测的响应内容编码方式
r.apparent_encoding	从内容中分析出的响应内容编码方式（备选编码方式）
r.content	HTTP响应内容的二进制形式

r.encoding：如果header中不存在charset，则认为编码为ISO‐8859‐1 r.text根据r.encoding显示网页内容

r.apparent_encoding：根据网页内容分析出的编码方式 可以看作是r.encoding的备选

框架

import requests
def getHTMLText(url):
    try:
        r = requests.get(url,timeout=30)
        r.raise_for_status()  #如果不是200，产生异常requests.HTTPError
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"
 
if __name__ == "__main__":
    url = "http://www.baidu.com"
    print(getHTMLText(url))

小知识点

user—agent : Mozilla/5.0 //常用于模拟浏览器

**百度的关键词接口： http://www.baidu.com/s?wd=keyword **

360的关键词接口： http://www.so.com/s?q=keyword