基本用法
简单实例
使用requests中的get方法得到一个Response对象，然后分别输出Response的类型，状态码，响应体的类型，内容以及Cookies
import requests
r = requests.get("https://www.baidu.com") #使用get方法模拟浏览器请求发起过程
print(type(r))
print(r.status_code)
print(type(t.text)
print(r.text)
print(r.cookies)
运行结果如下：
<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç™¾åº¦ä¸€ä¸‹ï¼Œä½ å°±çŸ¥é“</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=百度一下 class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ–°é—»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>地图</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>视频</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>登录</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">登录</a>');
</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">更多产å“</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>关于百度</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使用百度å‰å¿…读</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>æ„è§å馈</a> 京ICPè¯030173å· <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
它的返回类型是：requests.models.Response
响应体的类型是：str
Cookies的类型是：RequestsCookieJar
requests的其他请求类型（一句话实现）
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/head")
r = requests.options("http://httpbin.org/options")
2.GET请求
请求时附加格外信息（params）
例：加入name：germey、age：22两个参数
import requests
data = {
'name' : 'germey',
'age' : '22'
}
r = requests.get("https://httpbin.org/get",params=data)
print(r.text)
运行结果如下
{
"args": {
"age": "22",
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"origin": "59.51.114.211",
"url": "https://httpbin.org/get?name=germey&age=22"
}
这里请求链接自动被构成了：https://httpbin.org/get?name=germey&age=22
网页的返回类型实际上是str类型，但是它很特殊，是JSON格式的。
字典格式得到方式：
print(r.json)
抓取二进制数据
import requests
r = requests.get("https://github.com/favicon.ico")
print(r.text)
print(r.content)
前者由于图片是二级制数据，所以打印时转化为str类型，也就是把图片直接转化为字符串，所以出现乱码。
添加headers
headers = {
'User-Agent' : 'xxxxxxx'
}
r = requests.get(url,headers=headers)
3.POST请求
简单实例
import requests
data = {'name' : 'germey' ,'age' : '22'}
r = requests.post("http://httpbin.org/post",data = data)
print(r.text)
结果如下：
{
"args": {},
"data": "",
"files": {},
"form": {
"age": "22",
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "18",
"Content-Type": "application/x-www-form-urlencoded",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "59.51.114.216",
"url": "http://httpbin.org/post"
}
其中form部分就是提交的数据。
4.响应
得到响应的方法
import requests
r = requests.get("http://www.jianshu.com")
status_coder.status_code # 状态码
headers = r.headers # 响应头
cookies = r.cookies # Cookies
url = r.url # URL
headers得到的结果类型：CaseInsensitiveDict
cookies得到的结果类型：RequestsCookieJar
requests提供了一个内置的状态码查询对象：requests.codes
import requests
r = requests.get("http://www.jianshu.com")
exit() if not r.status_code == requests.codes.ok else print("Request Successfully")
上传文件
import requests
files = {'file' : open('favicon.ico','rb')}
r = requests.post("http://httpbin.org/post",files = files)
print(r.text)
结果如下：
{
"args": {},
"data": "",
"files": {
"file": "a"
},
"form": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Content-Length": "148",
"Content-Type": "multipart/form-data; boundary=846578a1af414143bb31c34eb187abdf",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.18.4"
},
"json": null,
"origin": "59.51.114.201",
"url": "http://httpbin.org/post"
}
里面包含files的字段替换为了favicon.ico中的内容。上传的文件部分会单独有一个files字段来识别
2.Cookies
获取Cookies
import requests
r = requests.get("https://www.baidu.com")
print(r.cookies)
for key,value in r.cookies.items():
print(key + "=" + value)
结果如下
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
BDORZ=27315
3.会话维持
Session对象
通常用于模拟等于成功之后进行下一步操作
import requests
s = requests.Session()
s.get('http://httpbin.org/cookies/set/number/123456789')
r = s.get('http://httpbin.org/cookies')
print(r.text)
结果如下
{
"cookies": {
"number": "123456789"
}
}
4.SSL证书验证
requests提供了证书验证功能，当发送HTTP情书的时候，它会检查SSL证书，我们可以使用verify参数控制是否检查此证书。默认为True。
import requests
response = requests.get('https://www.12306.cn')
print(response.status_code)
这里会提示一个SSLError，表示验证书错误。
下面将verify参数设置为False
import requests
response = requests.get('https://www.12306.cn',verify=False)
print(response.status_code)
结果如下
/Users/renming/anaconda3/lib/python3.6/site-packages/urllib3/connectionpool.py:858: InsecureRequestWarning: Unverified HTTPS request is being made. Adding certificate verification is strongly advised. See: https://urllib3.readthedocs.io/en/latest/advanced-usage.html#ssl-warnings
InsecureRequestWarning)
200
发现一个警告，它建议我们给它指定证书
下面设置忽略这个警告
import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://www.12306.cn',verify=False)
print(response.status_code)
5.代理设置
proxies参数
import requests
proxies = {
"http" : "http://10.10.1.10:3128",
"https" : "http://10.10.1.10:1080",
}
requests.get("https://www.taobao.com",proxies = proxies)
若要使用HTTP Basice Auth，使用类似
http://user:password@host:port
这样的语法来设置代理
import requests
proxies = {
"http":"http://user:password@10.10.1.10:3318/",
}
requests.get("https://www.taobao.com",proxies = proxies)
——————————————————————————————————————————
xpath语法：
一、选取节点
常用的路劲表达式：
| 表达式 | 描述 | 实例 | |
|---|---|---|---|
| nodename | 选取nodename节点的所有子节点 | xpath(’//div’) | 选取了div节点的所有子节点 |
| / | 从根节点选取 | xpath(’/div’) | 从根节点选取div节点 |
| // | 选取所有的当前节点，不考虑他们的位置 | xpath(’//div’) | 选取所有的div节点 |
| . | 选取当前节点 | xpath(’./div’) | 选取当前节点下的div节点 |
| … | 选取当前节点的父节点 | xpath(’…’) | 回到上一个节点 |
| @ | 选取属性 | xpath(’//@class’) | 选取所有的class属性 |
二、谓语
谓语被嵌在方括号内，用来查找某个特定的节点或包含某个制定的值的节点
| 表达式描述 | 用法说明 |
|---|---|
| /bookstore/book[1] | 选取属于 bookstore 子元素的第一个 book 元素。 |
| /bookstore/book[last()] | 选取属于 bookstore 子元素的最后一个 book 元素。 |
| /bookstore/book[last()-1] | 选取属于 bookstore 子元素的倒数第二个 book 元素。 |
| /bookstore/book[position()❤️] | 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 选取所有拥有名为 lang 的属性的 title 元素。 |
| //title[@lang=‘eng’] | 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。 |
| /bookstore/book[price>35.00] | 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。 |
| /bookstore/book[price>35.00]/title | 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。 |
三、通配符
Xpath通过通配符来选取未知的XML元素
| 表达式 | 描述 | 用法 | 说明 |
|---|---|---|---|
| * | 匹配任何元素节点 | xpath（/div/*） | 选取div下的所有子节点 |
| @* | 匹配任何属性节点 | xpath(/div[@*]) | 选取所有带属性的div节点 |
| node() | 匹配任何类型的节点 | xpath(//div[@class=’tb_cls’]).node() | 选择标签为div且类属性为tb_cls的所有标签 |
四、取多个路径
使用“|”运算符可以选取多个路径
| 用法 | 说明 |
|---|---|
| xpath （//book/title |//book/price） | 选取 book 元素的所有 title 和 price 元素。 |
| xpath（//title|//price） | 选取文档中的所有 title 和 price 元素 |
1515
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
