Python使用Requests第三方库自动登陆知乎

写爬虫就是我学习python的动力,刚开始学习的时候是用python自带的urllib和urllib2的库写爬虫,感觉有点繁琐,今天学习了Requests库感觉用起来比之前用的库方便多了。对网页的分析用的是BeautifulSoup4,之前用正则表达式写麻烦还伤脑经,有便利的工具于是就用了。

准备工具:python2.7 

Request

Beautiful


第一步:分析登录请求

首先将密码输错,发现浏览器发送了一个“email”的post请求


header头的内容就不用介绍了,直接看post表单中的内容,email对应登录的账号(这是使用邮箱登陆的,如果使用手机登录的话是不一样的,是phone_num);password对应的就是密码了;captcha对应的就是验证码,图中的captcha.gif?r=.....请求就是请求验证码的;remember_me对应的是是否记住登录密码,这几个内容好办,还有最后一个_xsrf对应了一串奇怪的东西,通过查看源代码发现,这一串奇怪的东西在源码中对应着一个input标签这个应该是知乎的一种防爬虫机制吧。

所以要做的工作已经很明显了,首先就是要去获取到这个xsrf的内容,然后获取一下验证码,最后将这几个内容包装一下,发送给服务器就可以登陆成功了。

第二部:编写程序

我使用Requests的session对象,那样就不用去操心cookie的事情了

1.获取xrsf内容

    url = "http://www.zhihu.com"
    s = requests.session()
    html = s.get(url)
    soup = BeautifulSoup(html.text,'html.parser')
    xrsf = soup.find('input')
    print(xrsf.get('value'))
2.获取验证码,将验证码的图片保存下来,自己输入验证码

#验证码
    yanzhen_url = 'https://www.zhihu.com/captcha.gif?r='+str(int(time.time()*1000))
    haha = s.get(yanzhen_url,headers = head)

    with open('code.jpg','wb') as f:
        f.write(haha.content)
    print '请输入验证码'
    yanzhen = raw_input()

    print '验证码:'+yanzhen
3.设置请求header

<span style="white-space:pre">	</span>head ={'Accept':'*/*',
       'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
       'X-Requested-With':'XMLHttpRequest',
       'Referer':'http://www.zhihu.com',
       'Accept-Language':'zh-CN',
       'Accept-Encoding':'gzip, deflate',
       'User-Agent':'Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)like Gecko',
       'Host':'www.zhihu.com'}
4.封装数据

login_data = {'_xsrf':xrsf,
              'password':password,
              'captcha':yanzhen,
              'email':email,
              'remember_me':'true'}
5.发送请求

r = s.post('https://www.zhihu.com/login/email',data=login_data,headers = head)
print r.text

如果成功或返回一个json格式的数据


完整代码:

#-*-coding:utf-8-*-
import requests
import urllib
import time
import urllib2
import sys
from bs4 import BeautifulSoup
reload(sys)
sys.setdefaultencoding('utf-8')

email = 'xxxxxxxx@qq.com'
password = 'xxxxxxx'
head ={'Accept':'*/*',
       'Content-Type':'application/x-www-form-urlencoded; charset=UTF-8',
       'X-Requested-With':'XMLHttpRequest',
       'Referer':'http://www.zhihu.com',
       'Accept-Language':'zh-CN',
       'Accept-Encoding':'gzip, deflate',
       'User-Agent':'Mozilla/5.0(Windows NT 6.1;WOW64;Trident/7.0;rv:11.0)like Gecko',
       'Host':'www.zhihu.com'}
#获取xrsf
url = "http://www.zhihu.com"
s = requests.session()
html = s.get(url)
soup = BeautifulSoup(html.text,'html.parser')
xrsf = soup.find('input')
print(xrsf.get('value'))

#验证码
yanzhen_url = 'https://www.zhihu.com/captcha.gif?r='+str(int(time.time()*1000))
haha = s.get(yanzhen_url,headers = head)

with open('code.jpg','wb') as f:
    f.write(haha.content)
print '请输入验证码'
yanzhen = raw_input()

print '验证码:'+yanzhen

login_data = {'_xsrf':xrsf,
              'password':password,
              'captcha':yanzhen,
              'email':email,
              'remember_me':'true'}

r = s.post('https://www.zhihu.com/login/email',data=login_data,headers = head)
print r.text
#验证一下是否登录成功
r = s.get('http://www.zhihu.com/')
print r.text




评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值