python requests库比urllib库使用起来简单,建议以后使用requests库,示例如下:
import requests
r = requests.get('https://www.baidu.com/')
print(type(r))
print(r.status_code)
print(type(r.text))
print(r.text)
print(r.cookies)
运行结果如下:
C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
<class 'requests.models.Response'>
200
<class 'str'>
<!DOCTYPE html>
<!--STATUS OK--><html> <head><meta http-equiv=content-type content=text/html;charset=utf-8><meta http-equiv=X-UA-Compatible content=IE=Edge><meta content=always name=referrer><link rel=stylesheet type=text/css href=https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css><title>ç¾åº¦ä¸ä¸ï¼ä½ å°±ç¥é</title></head> <body link=#0000cc> <div id=wrapper> <div id=head> <div class=head_wrapper> <div class=s_form> <div class=s_form_wrapper> <div id=lg> <img hidefocus=true src=//www.baidu.com/img/bd_logo1.png width=270 height=129> </div> <form id=form name=f action=//www.baidu.com/s class=fm> <input type=hidden name=bdorz_come value=1> <input type=hidden name=ie value=utf-8> <input type=hidden name=f value=8> <input type=hidden name=rsv_bp value=1> <input type=hidden name=rsv_idx value=1> <input type=hidden name=tn value=baidu><span class="bg s_ipt_wr"><input id=kw name=wd class=s_ipt value maxlength=255 autocomplete=off autofocus=autofocus></span><span class="bg s_btn_wr"><input type=submit id=su value=ç¾åº¦ä¸ä¸ class="bg s_btn" autofocus></span> </form> </div> </div> <div id=u1> <a href=http://news.baidu.com name=tj_trnews class=mnav>æ°é»</a> <a href=https://www.hao123.com name=tj_trhao123 class=mnav>hao123</a> <a href=http://map.baidu.com name=tj_trmap class=mnav>å°å¾</a> <a href=http://v.baidu.com name=tj_trvideo class=mnav>è§é¢</a> <a href=http://tieba.baidu.com name=tj_trtieba class=mnav>è´´å§</a> <noscript> <a href=http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u=http%3A%2F%2Fwww.baidu.com%2f%3fbdorz_come%3d1 name=tj_login class=lb>ç»å½</a> </noscript> <script>document.write('<a href="http://www.baidu.com/bdorz/login.gif?login&tpl=mn&u='+ encodeURIComponent(window.location.href+ (window.location.search === "" ? "?" : "&")+ "bdorz_come=1")+ '" name="tj_login" class="lb">ç»å½</a>');
</script> <a href=//www.baidu.com/more/ name=tj_briicon class=bri style="display: block;">æ´å¤äº§å</a> </div> </div> </div> <div id=ftCon> <div id=ftConw> <p id=lh> <a href=http://home.baidu.com>å³äºç¾åº¦</a> <a href=http://ir.baidu.com>About Baidu</a> </p> <p id=cp>©2017 Baidu <a href=http://www.baidu.com/duty/>使ç¨ç¾åº¦åå¿è¯»</a> <a href=http://jianyi.baidu.com/ class=cp-feedback>æè§åé¦</a> 京ICPè¯030173å· <img src=//www.baidu.com/img/gs.gif> </p> </div> </div> </div> </body> </html>
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
Process finished with exit code 0
requests的方法使用起来相当简单,上例即完成了一次网络爬取。
一、GET()
网络爬取必用的方法get().
一个最简单的示例,http://httpbin.org/get 是一个测试在线测试网站,它判断如果客户端发起的是get请求直接返回相应的请求信息:
import requests
r = requests.get('http://httpbin.org/get')
print(r.text)
运行结果:
C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
{
"args": {},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.20.1"
},
"origin": "124.133.52.190",
"url": "http://httpbin.org/get"
}
返回相应的结果,包括args、headers、origin、url。
这是一个最基本的get请求,但实际情况都会带参数,比如现在要增加name是germey,age是22,两个参数该怎么办呢?一种简单的非正规方法是是:
r = requests.get('http://httpbin.org/get?name=germey&age=22')
当然实际情况不会这么干,因为如果参数的是用户名和密码的话,就在浏览器的地址栏暴露了。
实际的做法也很简单,只需构造个字典存储参数信息,然后把他当做get()的第二个参数,如下:
import requests
data = {
'name':'germey',
'age':22
}
r = requests.get('http://httpbin.org/get', params=data)
print(r.text)
执行结果如下:
C:\Users\lc\AppData\Local\Programs\Python\Python37\python.exe C:/Users/lc/Desktop/python/helloword.py
{
"args": {
"age": "22",
"name": "germey"
},
"headers": {
"Accept": "*/*",
"Accept-Encoding": "gzip, deflate",
"Connection": "close",
"Host": "httpbin.org",
"User-Agent": "python-requests/2.20.1"
},
"origin": "111.34.28.46",
"url": "http://httpbin.org/get?name=germey&age=22"
}
此时返回的args即使传递的参数信息,且url被置成“http://httpbin.org/get?name=germey&age=22”
观察一下返回的结果类型是str,但是json格式的,可以把json转化为字典,需要调用json方法,示例如下:
import requests
data = {
'name':'germey',
'age':22
}
r = requests.get('http://httpbin.org/get', params=data)
print(type(r.text))
print(r.json())
print(type(r.json()))
执行结果如下:
<class 'str'>
{'args': {'age': '22', 'name': 'germey'}, 'headers': {'Accept': '*/*', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'close', 'Host': 'httpbin.org', 'User-Agent': 'python-requests/2.20.1'}, 'origin': '111.34.28.46', 'url': 'http://httpbin.org/get?name=germey&age=22'}
<class 'dict'>
如果我们用以上get的基本用法去抓取其他网站,发现基本抓取失败,比如抓取知乎,示例如下:
import requests
r = requests.get('https://www.zhihu.com/')
print(r.text)
执行结果:
<html>
<head><title>400 Bad Request</title></head>
<body bgcolor="white">
<center><h1>400 Bad Request</h1></center>
<hr><center>openresty</center>
</body>
</html>
返回400的相应码,是服务端直接拒绝了此链接,
原因是一些网站为防止爬虫,会检测报文头即headers中的User-Agent字段,默认此字段带“python”字样,所以在抓取前需要设置此字段,伪装成是浏览器在访问,方法如下:
import requests
headers = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
}
r = requests.get('https://www.zhihu.com/',headers=headers)
print(r.text)
此处只需注意一下即可,每次访问前这样设置一下headers.
当然headers中不仅仅User-Agent需要设置,还有cookie等其他信息,比如要设置cookie,首先要获取cookie,可以用以下方法获取:
import requests
r = requests.get('https://www.baidu.com/')
print(r.cookies)
返回如下:
<RequestsCookieJar[<Cookie BDORZ=27315 for .baidu.com/>]>
关于cookie等其他信息,我们后续介绍。