关闭

Python 模拟登录知乎

标签: python模拟登陆爬虫模拟防爬虫
10784人阅读 评论(46) 收藏 举报
分类:

前言

前天看到一个爬取了知乎50多万评论的帖子, 羡慕的同时也想自己来尝试一下。看看能不能获取一些有价值的信息。

必备知识点

下面简单的来谈谈我对常见的防爬虫的一些技巧的理解。

headers

现在很多服务器都对爬虫进行了限制,有一个很通用的处理就是检测“客户端”的headers。通过这个简单的判断就可以判断出客户端是爬虫程序还是真实的用户。(虽然这一招在Python中可以很轻松的解决)。

Referer

referer字段很实用,一方面可以用于站内数据的防盗链。比如我们经常遇到的在别处复制的图片链接,粘到我们的博客中出现了“被和谐”的字样。
这就是referer起到的作用,服务器在接收到一个请求的时候先判断Referer是否为本站的地址。如果是的话就返回正确的资源;如果不是,就返回给客户端预先准备好的“警示”资源。
Referer字段
所以再写爬虫的时候(尤其是爬人家图片的时候),加上Referer字段会很有帮助。

User-Agent

User-Agent字段更是没的说了。相信绝大部分有防爬长处理的网站都会判断这个字段。来检测客户端是爬虫程序还是浏览器。

如果是爬虫程序(没有添加header的程序),服务器肯定不会返回正确的内容啦;如果包含了这个字段,才会进行到下一步的防爬虫处理操作。
如果网站仅仅做到了这一步,而你的程序又恰好添加了User-Agent,基本上就可以顺利的蒙混过关了。
User-Agent字段

隐藏域

很多时候,我们模拟登录的时候需要提交的数据并不仅仅是用户名密码,还有一些隐藏域的数据。比如拿咱们CSDN来说,查看登录页
https://passport.csdn.net/account/login

的时候,你会发现源码中有这样的内容:
隐藏域

也就是说,如果你的程序仅仅post了username和password。那么是不可能进入到webflow流程的。因为服务器端接收请求的时候还会判断有没有lt和execution这两个隐藏域的内容。

其他

防止爬虫还有很多措施,我本人经验还少,所以不能在这里一一列举了。如果您有相关的经验,不妨留下评论,我会及时的更新到博客中,我非常的赞同大家秉承学习的理念来交流。

模拟登录

在正式的模拟登录知乎之前,我先来写个简单的小例子来加深一下印象。

模拟防爬

模拟防爬肯定是需要服务器端的支持了,下面简单的写一下来模拟整个过程。

服务器端

login.php

先来看看: login.php

<?php
/**
 * @Author: 郭 璞
 * @File: login.php
 * @Time: 2017/4/7
 * @Contact: 1064319632@qq.com
 * @blog: http://blog.csdn.net/marksinoberg
 * @Description:  模拟防爬处理
 **/

$username = $_POST['username'];
$password = $_POST['password'];
$token = $_POST['token'];

if (!isset($token)) {
    echo "登录失败!";
    exit(0);
}else{
    // 这里简单的模拟一下token的计算规则,实际中会比这更加的复杂
    $target_token = $username.$username;
    if ($token == $target_token){
        if ($username ==='123456' and $password==='123456'){
            echo "登陆成功!<br>用户名: ".$username."<br>密码:".$password."<br>token: ".$token;
        }else{
            echo "用户名或密码错误!";
        }
    }else{
        echo "token 验证失败!";
    }
}
login.html

相对应的前端代码简单的写成下面: login.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>郭璞的小窝</title>
</head>
<body>

<form action="login.php" method="post">
    用户名: <input type="text" name="username" id="username" required><br>
    密&nbsp;&nbsp;码:<input type="password" name="password" required><br>
    <input type="hidden" name="token" id="token" value="">
    <hr>
    <input type="submit" value="登录">
</form>
<script>
    document.getElementById('username').onblur = function() {
        var username = document.getElementById("username").value;
        var token = document.getElementById('token');
        token.value = username+username;
    }
</script>

</body>
</html>
浏览器测试
正常提交用户名密码的话如下:

正确提交信息

我们不难发现,服务器端和客户端使用了相同的计算规则,这样的话我们就可以实现对客户端的登录请求进行一次简答的甄选了。正常的浏览器请求都是没有问题的。

用户名或者密码填写错误的情况如下:

用户名密码出错的情况

爬虫没有添加隐藏域时

用爬虫程序运行的话,如果没有添加隐藏域的内容,我们就不可能正确地登录了。那么先来看下这样的傻瓜式爬虫是怎么失效的吧。
使用Python写一个这样的爬虫用不了多少代码,那么就用Python来写吧。其他的接口测试工具postman,selenium等等也都是很方便的,这里暂且不予考虑。

# coding: utf8

# @Author: 郭 璞
# @File: sillyway.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 傻瓜式爬虫未添加隐藏域的值

import requests

url = "http://localhost/phpstorm/pachong/login.php"

payload = {
    'username': '123456',
    'password': '123456'
}

response = requests.post(url=url, data=payload)
print(response.text)

运行的结果如下:
傻瓜式爬虫,未添加隐藏域信息

对比PHP文件对于请求的处理,我们可以更加轻松的明白这个逻辑。

添加了隐藏域的爬虫

正如上面失败的案例,我们明白了要添加隐藏域的值的必要性。那么下面来改进一下。

因为我们”不知道”服务器端是怎么对token处理的具体的逻辑。所以还是需要从客户端的网页下手。
且看下面的图片。
客户端隐藏域内容获取

注意:这里仅仅是为了演示的方便,采用了对username字段失去焦点时计算token。实际上在网页被拉取到客户端浏览器的时候, 服务器会事先计算好token的值,并赋予到token字段的。所以大可不必计较这里的实现。

Python代码

# coding: utf8

# @Author: 郭 璞
# @File: addhiddenvalue.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 添加了隐藏域信息的爬虫

import requests

## 先获取一下token的内容值,方便接下来的处理
url = 'http://localhost/phpstorm/pachong/login.php'

payload = {
    'username': '123456',
    'password': '123456',
    'token': '123456123456'
}

response = requests.post(url, data=payload)
print(response.text)

实现效果如下:
添加了token域内容的爬虫效果

现在是否对于隐藏域有了更深的认识了呢?

知乎模拟登录

按照我们刚才的逻辑,我们要做的就是:

先打开预登陆界面,目标:得到必须提交的隐藏域的值
然后通过post再次访问该路径(准备好了一切必须的信息)
获取网页内容并进行解析,或者做其他的处理。

思路很清晰了,下面就可以直接上代码了。

# coding: utf8

# @Author: 郭 璞
# @File: ZhiHuLogin.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 模拟登陆知乎
import re
from bs4 import BeautifulSoup
import subprocess, os
import json
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.zhihu.com",
    "Upgrade-Insecure-Requests": "1",
}

############################# 从邮箱方式登录
loginurl = 'http://www.zhihu.com/login/email'
session = requests.session()
html = session.get(url=loginurl, headers=headers).text
soup = BeautifulSoup(html, 'html.parser')
print(soup)
xsrf_token = soup.find('input', {'name':'_xsrf'})['value']
print("登录xsrf_token: "+xsrf_token)

############################ 下载验证码备用
checkcodeurl = 'http://www.zhihu.com/captcha.gif'
checkcode = session.get(url=checkcodeurl, headers=headers).content
with open('./checkcode.png', 'wb') as f:
    f.write(checkcode)
print('已经打开验证码,请输入')
# subprocess.call('./checkcode.png', shell=True)
os.startfile(r'checkcode.png')
checkcode = input('请输入验证码:')
os.remove(r'checkcode.png')
############################ 开始登陆
payload = {
    '_xsrf': xsrf_token,
    'email': input('请输入用户名:'),
    'password': getpass.getpass(prompt="请输入密码:"),#input('请输入密码:'),
    'remeber_me': 'true',
    'captcha': checkcode
}
response = session.post(loginurl, data=payload)
print("*"*100)

result = response.text
print("登录消息为:"+result)
tempurl = 'https://www.zhihu.com/question/57964452/answer/155231804'
tempresponse = session.get(tempurl, headers=headers)
soup = BeautifulSoup(tempresponse.text, 'html.parser')
print(soup.title)

实现的效果如下

模拟登录知乎效果

观察动态图,不难发现对于https://www.zhihu.com/question/57964452/answer/155231804

界面,我们正确的获取到了title的内容。(也许你会说,正常访问也会获取到这个内容的,但是我们是从已登录的session上获取的,请记住这一点哈。)。

更新版知乎模拟登陆

代码部分

# coding: utf8

# @Author: 郭 璞
# @File: MyZhiHuLogin.py                                                                 
# @Time: 2017/4/8                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 我的模拟登录知乎

import requests
from bs4 import BeautifulSoup
import os, time
import re
# import http.cookiejar as cookielib

# 构造 Request headers
agent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
headers = {
    "Host": "www.zhihu.com",
    "Referer": "https://www.zhihu.com/",
    'User-Agent': agent
}

######### 构造用于网络请求的session
session = requests.Session()
# session.cookies = cookielib.LWPCookieJar(filename='zhihucookie')
# try:
#     session.cookies.load(ignore_discard=True)
# except:
#     print('cookie 文件未能加载')

############ 获取xsrf_token
homeurl = 'https://www.zhihu.com'
homeresponse = session.get(url=homeurl, headers=headers)
homesoup = BeautifulSoup(homeresponse.text, 'html.parser')
xsrfinput = homesoup.find('input', {'name': '_xsrf'})
xsrf_token = xsrfinput['value']
print("获取到的xsrf_token为: ", xsrf_token)

########## 获取验证码文件
randomtime = str(int(time.time() * 1000))
captchaurl = 'https://www.zhihu.com/captcha.gif?r='+\
             randomtime+"&type=login"
captcharesponse = session.get(url=captchaurl, headers=headers)
with open('checkcode.gif', 'wb') as f:
    f.write(captcharesponse.content)
    f.close()
# os.startfile('checkcode.gif')
captcha = input('请输入验证码:')
print(captcha)

########### 开始登陆
headers['X-Xsrftoken'] = xsrf_token
headers['X-Requested-With'] = 'XMLHttpRequest'
loginurl = 'https://www.zhihu.com/login/email'
postdata = {
    '_xsrf': xsrf_token,
    'email': '邮箱@qq.com',
    'password': '密码'
}
loginresponse = session.post(url=loginurl, headers=headers, data=postdata)
print('服务器端返回响应码:', loginresponse.status_code)
print(loginresponse.json())
# 验证码问题输入导致失败: 猜测这个问题是由于session中对于验证码的请求过期导致
if loginresponse.json()['r']==1:
    # 重新输入验证码,再次运行代码则正常。也就是说可以再第一次不输入验证码,或者输入一个错误的验证码,只有第二次才是有效的
    randomtime = str(int(time.time() * 1000))
    captchaurl = 'https://www.zhihu.com/captcha.gif?r=' + \
                 randomtime + "&type=login"
    captcharesponse = session.get(url=captchaurl, headers=headers)
    with open('checkcode.gif', 'wb') as f:
        f.write(captcharesponse.content)
        f.close()
    os.startfile('checkcode.gif')
    captcha = input('请输入验证码:')
    print(captcha)

    postdata['captcha'] = captcha
    loginresponse = session.post(url=loginurl, headers=headers, data=postdata)
    print('服务器端返回响应码:', loginresponse.status_code)
    print(loginresponse.json())




##########################保存登陆后的cookie信息
# session.cookies.save()
############################判断是否登录成功
profileurl = 'https://www.zhihu.com/settings/profile'
profileresponse = session.get(url=profileurl, headers=headers)
print('profile页面响应码:', profileresponse.status_code)
profilesoup = BeautifulSoup(profileresponse.text, 'html.parser')
div = profilesoup.find('div', {'id': 'rename-section'})
print(div)

验证效果

更新版知乎模拟登陆

总结

经过了今天的测试,发现自己之前对于网页的处理理解的还是不够到位。

  • 对于“静态页面”,常用的urllib, requests应该是可以满足需要的了。

  • 对于动态页面的爬取,可以使用无头浏览器PhantomJS,Selenium等来实现。

但是一直处理的不够精简,导致在爬一些重定向页面的过程中出现了很多意想不到的问题。

在这块的爬虫程序还有很多地方需要进行完善啊。

另外模拟登录还有一个利器,那就是cookie。下次有时间的话再来学习一下使用cookie来实现。今天就先到这里吧。


参考链接:
http://blog.csdn.net/shell_zero/article/details/50783078

10
0
查看评论

编程语言的学习 ------ python3文件读取+用户登录简单验证+列表验证用户(优化3)

这次的优化加入了列表,把登录用户的用户名与密码放到了列表里面,验证的时候取出即可,但是仍有一个问题,由于这个程序比较小,所以列表里面的值比较少,如果列表里面的值比较多时,怎么去取出用户与密码进行验证还没有想到,应该再继续优化,新手练习代码,希望各位大神能够给予指导,代码如下: #Author:...
  • qq_32503133
  • qq_32503133
  • 2018-01-09 17:05
  • 63

python3.6,--登录知乎

#encoding=utf-8 # 登录知乎,通过保存验证图片方式   import urllib.request   import urllib.parse   import time   import http.cookiejar    ...
  • q1424966670
  • q1424966670
  • 2017-09-26 09:37
  • 206

Python爬虫之模拟登录总结

备注:python 2.7.9,32位 有些网站需要登录后才能爬取所需要的信息,此时可以设计爬虫进行模拟登录,原理是利用浏览器cookie。 一、浏览器访问服务器的过程:     (1)浏览器(客户端)向Web服务器发出一个HTTP请求(Http request); ...
  • churximi
  • churximi
  • 2016-03-17 21:48
  • 21320

Python使用requests库模拟登陆网站的方式--以豆瓣为例

初次接触爬虫的时候,总会看到模拟登录网站的字眼,然后又是get、post等一堆不知道什么意思的字眼。百度get、post之后也不太清楚什么意思,只知道好像是打开网址的时候顺便提交一些数据。然后又在想:我怎么知道哪些网址需要post,又要post什么数据?哪些网址又是需要get的? 后来慢慢接触的多了...
  • u011659379
  • u011659379
  • 2015-08-31 14:04
  • 37622

python爬虫之模拟登陆csdn

python模拟登陆网页主要使用到urllib、urllib2、cookielib及BeautifulSoup等基本模块,当然进阶阶段我们还可以使用像requests等更高级一点的模块。其中BeautifulSoup模块可以很好的代理re,使用起来更方便,对于不会使用正则的人来说是福音。本文使用py...
  • yanggd1987
  • yanggd1987
  • 2016-08-05 12:28
  • 4908

利用python requests库模拟登陆知乎

当初搜模拟登陆的时候在知乎上也找到一些内容。 以下是代码 import requests import time import json import os import re import sys import subprocess from bs4 import BeautifulSoup ...
  • Shell_Zero
  • Shell_Zero
  • 2016-03-02 20:59
  • 6246

Python 网络爬虫--简单的模拟登录

和获取网页上的信息不同,想要进行模拟登录还需要向服务器发送一些信息,如账号、密码等等。 模拟登录一个网站大致分为这么几步: 1.先将登录网站的隐藏信息找到,并将其内容先进行保存(由于我这里登录的网站并没有额外信息,所以这里没有进行信息筛选保存) 2.将信息进行提交 3.获取登录后的信息 先给上源码 ...
  • M_WBCG
  • M_WBCG
  • 2017-04-19 18:28
  • 3438

Python3网络爬虫(六):Python3使用Cookie-模拟登陆获取妹子联系方式

转载请注明作者和出处:http://blog.csdn.net/c406495762 运行平台:WindowsPython 版本:Python3.x IDE:Sublime text3
  • c406495762
  • c406495762
  • 2017-04-09 15:07
  • 22339

Python 模拟登陆教务选课系统

前言 本来,可爱的教务选课系统从出生就没有验证码的,但快到选课的时候,突然有验证码了,只好重写一次登陆模块。这次在win8.1系统下写,打造IDE和其他各种库的安装弄了好久,实际抓包写代码的时间不长。 编程环境 及 其他准备python 2.7 sublime text 3 & JEDI ...
  • Mr_Zing
  • Mr_Zing
  • 2015-07-10 21:40
  • 3532

Python模拟登录多种实现方式

Python模拟登录多种实现方式 基于Python 3.6 #coding:utf-8 import sys import io import urllib.request import http.cookiejar ################## 第一种登陆方式 ###...
  • ygc123189
  • ygc123189
  • 2018-01-17 18:54
  • 66
    个人资料
    • 访问:3229870次
    • 积分:34803
    • 等级:
    • 排名:第149名
    • 原创:355篇
    • 转载:35篇
    • 译文:9篇
    • 评论:733条
    友情链接
    我的偶像
    个人主页
      GitHub
    放松一下
    博客专栏
    最新评论
    版权信息
    去除本页广告
    图片炸弹装填中...

        
    [img=赞一个]http://bpic.588ku.com/element_origin_min_pic/16/12/12/0d96da96cf36505736c09d63832eaac8.jpg[/img]