Python使用Requests第三方库自动登陆知乎

写爬虫就是我学习python的动力，刚开始学习的时候是用python自带的urllib和urllib2的库写爬虫，感觉有点繁琐，今天学习了Requests库感觉用起来比之前用的库方便多了。对网页的分析用的是BeautifulSoup4，之前用正则表达式写麻烦还伤脑经，有便利的工具于是就用了。

准备工具:python2.7 

Request

Beautiful

第一步：分析登录请求

首先将密码输错，发现浏览器发送了一个“email”的post请求

header头的内容就不用介绍了，直接看post表单中的内容，email对应登录的账号（这是使用邮箱登陆的，如果使用手机登录的话是不一样的，是phone_num）；password对应的就是密码了；captcha对应的就是验证码，图中的captcha.gif?r=.....请求就是请求验证码的；remember_me对应的是是否记住登录密码，这几个内容好办，还有最后一个_xsrf对应了一串奇怪的东西，通过查看源代码发现，这一串奇怪的东西在源码中对应着一个input标签这个应该是知乎的一种防爬虫机制吧。

所以要做的工作已经很明显了，首先就是要去获取到这个xsrf的内容，然后获取一下验证码，最后将这几个内容包装一下，发送给服务器就可以登陆成功了。

第二部：编写程序

我使用Requests的session对象，那样就不用去操心cookie的事情了

1.获取xrsf内容

    url = "http://www.zhihu.com"
    s = requests.session()
    html = s.get(url)
    soup = BeautifulSoup(html.text,'html.parser')
    xrsf = soup.find('input')
    print(xrsf.get('value'))

2.获取验证码，将验证码的图片保存下来，自己输入验证码

#验证码
    yanzhen_url = 'https://www.zhihu.com/captcha.gif?r='+str(int(time.time()*1000))
    haha = s.get(yanzhen_url,headers = head)

    with open('code.jpg','wb') as f:
        f.write(haha.content)
    print '请输入验证码'
    yanzhen = raw_input()

    print '验证码:'+yanzhen

3.设置请求header

<span style="white-space:pre">	</span>head ={'Accept':'*/*',
       'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
       'X-Requested-With':'XMLHttpRequest',
       'Referer':'http://www.zhihu.com',
       'Accept-Language':'zh-CN',
       'Accept-Encoding':'gzip, deflate',
       'User-Agent':'Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)like Gecko',
       'Host':'www.zhihu.com'}

4.封装数据

login_data = {'_xsrf':xrsf,
              'password':password,
              'captcha':yanzhen,
              'email':email,
              'remember_me':'true'}

5.发送请求

r = s.post('https://www.zhihu.com/login/email',data=login_data,headers = head)
print r.text

如果成功或返回一个json格式的数据

完整代码：

#-*-coding:utf-8-*-
import requests
import urllib
import time
import urllib2
import sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf-8')

email = 'xxxxxxxx@qq.com'
password = 'xxxxxxx'
head ={'Accept':'*/*',
       'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
       'X-Requested-With':'XMLHttpRequest',
       'Referer':'http://www.zhihu.com',
       'Accept-Language':'zh-CN',
       'Accept-Encoding':'gzip, deflate',
       'User-Agent':'Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)like Gecko',
       'Host':'www.zhihu.com'}
#获取xrsf
url = "http://www.zhihu.com"
s = requests.session()
html = s.get(url)
soup = BeautifulSoup(html.text,'html.parser')
xrsf = soup.find('input')
print(xrsf.get('value'))

#验证码
yanzhen_url = 'https://www.zhihu.com/captcha.gif?r='+str(int(time.time()*1000))
haha = s.get(yanzhen_url,headers = head)

with open('code.jpg','wb') as f:
    f.write(haha.content)
print '请输入验证码'
yanzhen = raw_input()

print '验证码:'+yanzhen

login_data = {'_xsrf':xrsf,
              'password':password,
              'captcha':yanzhen,
              'email':email,
              'remember_me':'true'}

r = s.post('https://www.zhihu.com/login/email',data=login_data,headers = head)
print r.text
#验证一下是否登录成功
r = s.get('http://www.zhihu.com/')
print r.text