文章标题

Python Requests库

Selenium+Phantomjs的使用

Python爬虫的Requests库

主要应用于requests.get()和requests.post()的使用。
GET请求从服务器后端获得网页相关信息。
POST请求主要通过发送表单给服务器，例如登陆密码。POST之后会返回一定的信息，例如一个新网站或者相关数据。
其中的参数包括：headers头部信息（包括浏览器的相关信息头）
    headers = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Encoding': 'gzip, deflate, compress',
       'Accept-Language': 'en-us;q=0.5,en;q=0.3',
       'Cache-Control': 'max-age=0',
       'Connection': 'keep-alive',
       'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0) Gecko/20100101 Firefox/22.0'}

   cookies = {'testCookies_1': 'Hello_Python3', 'testCookies_2': 'Hello_Requests'}

proxies
采集时为避免被封IP，经常会使用代理。requests也有相应的proxies属性。

import requests

proxies = {
“http”: “http://10.10.1.10:3128“,
“https”: “http://10.10.1.10:1080“,
}

requests.get(“http://www.zhidaow.com“, proxies=proxies)
如果代理需要账户和密码，则需这样：

proxies = {
“http”: “http://user:pass@10.10.1.10:3128/“,
}

requests.get(‘http://www.dict.baidu.com/s‘, params={‘wd’: ‘python’}) #GET参数实例

requests.post(‘http://www.itwhy.org/wp-comments-post.php‘, data={‘comment’: ‘测试POST’}) #POST参数

Json数据的处理
像urllib和urllib2，如果用到json，就要引入新模块，如json和simplejson，但在requests中已经有了内置的函数，r.json()。就拿查询IP的API来说：

r = requests.get(‘http://ip.taobao.com/service/getIpInfo.php?ip=122.88.60.28‘)
r.json()[‘data’][‘country’]
‘中国’

r.status_code #响应状态码
r.raw #返回原始响应体，也就是 urllib 的 response 对象，使用 r.raw.read() 读取
r.content #字节方式的响应体，会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体，会自动根据响应头部的字符编码进行解码
r.headers #以字典对象存储服务器响应头，但是这个字典比较特殊，字典键不区分大小写，若键不存在则返回None

特殊方法

r.json() #Requests中内置的JSON解码器
r.raise_for_status() #失败请求(非200响应)抛出异常

requests模拟登陆

import requests
from bs4 import BeautifulSoup

url = "http://www.v2ex.com/signin"
UA = "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.13 Safari/537.36"

header = { "User-Agent" : UA,
           "Referer": "http://www.v2ex.com/signin"
           }

v2ex_session = requests.Session()
f = v2ex_session.get(url,headers=header)

soup = BeautifulSoup(f.content,"html.parser")
once = soup.find('input',{'name':'once'})['value']
print(once)

postData = { 'u': 'whatbeg',
             'p': '*****',
             'once': once,
             'next': '/'
             }

v2ex_session.post(url,
                  data = postData,
                  headers = header)

f = v2ex_session.get('http://www.v2ex.com/settings',headers=header)
print(f.content.decode())