Python 模拟登录知乎

原创 2017年04月07日 17:03:51

前言

前天看到一个爬取了知乎50多万评论的帖子, 羡慕的同时也想自己来尝试一下。看看能不能获取一些有价值的信息。

必备知识点

下面简单的来谈谈我对常见的防爬虫的一些技巧的理解。

headers

现在很多服务器都对爬虫进行了限制,有一个很通用的处理就是检测“客户端”的headers。通过这个简单的判断就可以判断出客户端是爬虫程序还是真实的用户。(虽然这一招在Python中可以很轻松的解决)。

Referer

referer字段很实用,一方面可以用于站内数据的防盗链。比如我们经常遇到的在别处复制的图片链接,粘到我们的博客中出现了“被和谐”的字样。
这就是referer起到的作用,服务器在接收到一个请求的时候先判断Referer是否为本站的地址。如果是的话就返回正确的资源;如果不是,就返回给客户端预先准备好的“警示”资源。
Referer字段
所以再写爬虫的时候(尤其是爬人家图片的时候),加上Referer字段会很有帮助。

User-Agent

User-Agent字段更是没的说了。相信绝大部分有防爬长处理的网站都会判断这个字段。来检测客户端是爬虫程序还是浏览器。

如果是爬虫程序(没有添加header的程序),服务器肯定不会返回正确的内容啦;如果包含了这个字段,才会进行到下一步的防爬虫处理操作。
如果网站仅仅做到了这一步,而你的程序又恰好添加了User-Agent,基本上就可以顺利的蒙混过关了。
User-Agent字段

隐藏域

很多时候,我们模拟登录的时候需要提交的数据并不仅仅是用户名密码,还有一些隐藏域的数据。比如拿咱们CSDN来说,查看登录页
https://passport.csdn.net/account/login

的时候,你会发现源码中有这样的内容:
隐藏域

也就是说,如果你的程序仅仅post了username和password。那么是不可能进入到webflow流程的。因为服务器端接收请求的时候还会判断有没有lt和execution这两个隐藏域的内容。

其他

防止爬虫还有很多措施,我本人经验还少,所以不能在这里一一列举了。如果您有相关的经验,不妨留下评论,我会及时的更新到博客中,我非常的赞同大家秉承学习的理念来交流。

模拟登录

在正式的模拟登录知乎之前,我先来写个简单的小例子来加深一下印象。

模拟防爬

模拟防爬肯定是需要服务器端的支持了,下面简单的写一下来模拟整个过程。

服务器端

login.php

先来看看: login.php

<?php
/**
 * @Author: 郭 璞
 * @File: login.php
 * @Time: 2017/4/7
 * @Contact: 1064319632@qq.com
 * @blog: http://blog.csdn.net/marksinoberg
 * @Description:  模拟防爬处理
 **/

$username = $_POST['username'];
$password = $_POST['password'];
$token = $_POST['token'];

if (!isset($token)) {
    echo "登录失败!";
    exit(0);
}else{
    // 这里简单的模拟一下token的计算规则,实际中会比这更加的复杂
    $target_token = $username.$username;
    if ($token == $target_token){
        if ($username ==='123456' and $password==='123456'){
            echo "登陆成功!<br>用户名: ".$username."<br>密码:".$password."<br>token: ".$token;
        }else{
            echo "用户名或密码错误!";
        }
    }else{
        echo "token 验证失败!";
    }
}
login.html

相对应的前端代码简单的写成下面: login.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>郭璞的小窝</title>
</head>
<body>

<form action="login.php" method="post">
    用户名: <input type="text" name="username" id="username" required><br>
    密&nbsp;&nbsp;码:<input type="password" name="password" required><br>
    <input type="hidden" name="token" id="token" value="">
    <hr>
    <input type="submit" value="登录">
</form>
<script>
    document.getElementById('username').onblur = function() {
        var username = document.getElementById("username").value;
        var token = document.getElementById('token');
        token.value = username+username;
    }
</script>

</body>
</html>
浏览器测试
正常提交用户名密码的话如下:

正确提交信息

我们不难发现,服务器端和客户端使用了相同的计算规则,这样的话我们就可以实现对客户端的登录请求进行一次简答的甄选了。正常的浏览器请求都是没有问题的。

用户名或者密码填写错误的情况如下:

用户名密码出错的情况

爬虫没有添加隐藏域时

用爬虫程序运行的话,如果没有添加隐藏域的内容,我们就不可能正确地登录了。那么先来看下这样的傻瓜式爬虫是怎么失效的吧。
使用Python写一个这样的爬虫用不了多少代码,那么就用Python来写吧。其他的接口测试工具postman,selenium等等也都是很方便的,这里暂且不予考虑。

# coding: utf8

# @Author: 郭 璞
# @File: sillyway.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 傻瓜式爬虫未添加隐藏域的值

import requests

url = "http://localhost/phpstorm/pachong/login.php"

payload = {
    'username': '123456',
    'password': '123456'
}

response = requests.post(url=url, data=payload)
print(response.text)

运行的结果如下:
傻瓜式爬虫,未添加隐藏域信息

对比PHP文件对于请求的处理,我们可以更加轻松的明白这个逻辑。

添加了隐藏域的爬虫

正如上面失败的案例,我们明白了要添加隐藏域的值的必要性。那么下面来改进一下。

因为我们”不知道”服务器端是怎么对token处理的具体的逻辑。所以还是需要从客户端的网页下手。
且看下面的图片。
客户端隐藏域内容获取

注意:这里仅仅是为了演示的方便,采用了对username字段失去焦点时计算token。实际上在网页被拉取到客户端浏览器的时候, 服务器会事先计算好token的值,并赋予到token字段的。所以大可不必计较这里的实现。

Python代码

# coding: utf8

# @Author: 郭 璞
# @File: addhiddenvalue.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 添加了隐藏域信息的爬虫

import requests

## 先获取一下token的内容值,方便接下来的处理
url = 'http://localhost/phpstorm/pachong/login.php'

payload = {
    'username': '123456',
    'password': '123456',
    'token': '123456123456'
}

response = requests.post(url, data=payload)
print(response.text)

实现效果如下:
添加了token域内容的爬虫效果

现在是否对于隐藏域有了更深的认识了呢?

知乎模拟登录

按照我们刚才的逻辑,我们要做的就是:

先打开预登陆界面,目标:得到必须提交的隐藏域的值
然后通过post再次访问该路径(准备好了一切必须的信息)
获取网页内容并进行解析,或者做其他的处理。

思路很清晰了,下面就可以直接上代码了。

# coding: utf8

# @Author: 郭 璞
# @File: ZhiHuLogin.py                                                                 
# @Time: 2017/4/7                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 模拟登陆知乎
import re
from bs4 import BeautifulSoup
import subprocess, os
import json
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
    "Accept-Encoding": "gzip, deflate",
    "Host": "www.zhihu.com",
    "Upgrade-Insecure-Requests": "1",
}

############################# 从邮箱方式登录
loginurl = 'http://www.zhihu.com/login/email'
session = requests.session()
html = session.get(url=loginurl, headers=headers).text
soup = BeautifulSoup(html, 'html.parser')
print(soup)
xsrf_token = soup.find('input', {'name':'_xsrf'})['value']
print("登录xsrf_token: "+xsrf_token)

############################ 下载验证码备用
checkcodeurl = 'http://www.zhihu.com/captcha.gif'
checkcode = session.get(url=checkcodeurl, headers=headers).content
with open('./checkcode.png', 'wb') as f:
    f.write(checkcode)
print('已经打开验证码,请输入')
# subprocess.call('./checkcode.png', shell=True)
os.startfile(r'checkcode.png')
checkcode = input('请输入验证码:')
os.remove(r'checkcode.png')
############################ 开始登陆
payload = {
    '_xsrf': xsrf_token,
    'email': input('请输入用户名:'),
    'password': getpass.getpass(prompt="请输入密码:"),#input('请输入密码:'),
    'remeber_me': 'true',
    'captcha': checkcode
}
response = session.post(loginurl, data=payload)
print("*"*100)

result = response.text
print("登录消息为:"+result)
tempurl = 'https://www.zhihu.com/question/57964452/answer/155231804'
tempresponse = session.get(tempurl, headers=headers)
soup = BeautifulSoup(tempresponse.text, 'html.parser')
print(soup.title)

实现的效果如下

模拟登录知乎效果

观察动态图,不难发现对于https://www.zhihu.com/question/57964452/answer/155231804

界面,我们正确的获取到了title的内容。(也许你会说,正常访问也会获取到这个内容的,但是我们是从已登录的session上获取的,请记住这一点哈。)。

更新版知乎模拟登陆

代码部分

# coding: utf8

# @Author: 郭 璞
# @File: MyZhiHuLogin.py                                                                 
# @Time: 2017/4/8                                   
# @Contact: 1064319632@qq.com
# @blog: http://blog.csdn.net/marksinoberg
# @Description: 我的模拟登录知乎

import requests
from bs4 import BeautifulSoup
import os, time
import re
# import http.cookiejar as cookielib

# 构造 Request headers
agent = 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
headers = {
    "Host": "www.zhihu.com",
    "Referer": "https://www.zhihu.com/",
    'User-Agent': agent
}

######### 构造用于网络请求的session
session = requests.Session()
# session.cookies = cookielib.LWPCookieJar(filename='zhihucookie')
# try:
#     session.cookies.load(ignore_discard=True)
# except:
#     print('cookie 文件未能加载')

############ 获取xsrf_token
homeurl = 'https://www.zhihu.com'
homeresponse = session.get(url=homeurl, headers=headers)
homesoup = BeautifulSoup(homeresponse.text, 'html.parser')
xsrfinput = homesoup.find('input', {'name': '_xsrf'})
xsrf_token = xsrfinput['value']
print("获取到的xsrf_token为: ", xsrf_token)

########## 获取验证码文件
randomtime = str(int(time.time() * 1000))
captchaurl = 'https://www.zhihu.com/captcha.gif?r='+\
             randomtime+"&type=login"
captcharesponse = session.get(url=captchaurl, headers=headers)
with open('checkcode.gif', 'wb') as f:
    f.write(captcharesponse.content)
    f.close()
# os.startfile('checkcode.gif')
captcha = input('请输入验证码:')
print(captcha)

########### 开始登陆
headers['X-Xsrftoken'] = xsrf_token
headers['X-Requested-With'] = 'XMLHttpRequest'
loginurl = 'https://www.zhihu.com/login/email'
postdata = {
    '_xsrf': xsrf_token,
    'email': '邮箱@qq.com',
    'password': '密码'
}
loginresponse = session.post(url=loginurl, headers=headers, data=postdata)
print('服务器端返回响应码:', loginresponse.status_code)
print(loginresponse.json())
# 验证码问题输入导致失败: 猜测这个问题是由于session中对于验证码的请求过期导致
if loginresponse.json()['r']==1:
    # 重新输入验证码,再次运行代码则正常。也就是说可以再第一次不输入验证码,或者输入一个错误的验证码,只有第二次才是有效的
    randomtime = str(int(time.time() * 1000))
    captchaurl = 'https://www.zhihu.com/captcha.gif?r=' + \
                 randomtime + "&type=login"
    captcharesponse = session.get(url=captchaurl, headers=headers)
    with open('checkcode.gif', 'wb') as f:
        f.write(captcharesponse.content)
        f.close()
    os.startfile('checkcode.gif')
    captcha = input('请输入验证码:')
    print(captcha)

    postdata['captcha'] = captcha
    loginresponse = session.post(url=loginurl, headers=headers, data=postdata)
    print('服务器端返回响应码:', loginresponse.status_code)
    print(loginresponse.json())




##########################保存登陆后的cookie信息
# session.cookies.save()
############################判断是否登录成功
profileurl = 'https://www.zhihu.com/settings/profile'
profileresponse = session.get(url=profileurl, headers=headers)
print('profile页面响应码:', profileresponse.status_code)
profilesoup = BeautifulSoup(profileresponse.text, 'html.parser')
div = profilesoup.find('div', {'id': 'rename-section'})
print(div)

验证效果

更新版知乎模拟登陆

总结

经过了今天的测试,发现自己之前对于网页的处理理解的还是不够到位。

  • 对于“静态页面”,常用的urllib, requests应该是可以满足需要的了。

  • 对于动态页面的爬取,可以使用无头浏览器PhantomJS,Selenium等来实现。

但是一直处理的不够精简,导致在爬一些重定向页面的过程中出现了很多意想不到的问题。

在这块的爬虫程序还有很多地方需要进行完善啊。

另外模拟登录还有一个利器,那就是cookie。下次有时间的话再来学习一下使用cookie来实现。今天就先到这里吧。


参考链接:
http://blog.csdn.net/shell_zero/article/details/50783078

版权声明:本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。转载时请标注http://blog.csdn.net/marksinoberg. 举报

相关文章推荐

Android(Java) 模拟登录知乎并抓取用户信息

前不久,看到一篇文章我用爬虫一天时间“偷了”知乎一百万用户,只为证明PHP是世界上最好的语言,该文章中使用的登录方式是直接复制cookie到代码中,这里呢,我不以爬信息为目的。只是简单的介绍使用jav...

Java网络爬虫(四)--使用HttpClient返回实体内容

在前几篇博客中,一直讲的是使用HttpClient进行请求操作,并判断请求是否成功,但既然做网络爬虫,我们就需要将整个页面的Html拿下来进行分析,这时候就要用到HttpClient的返回实体的内容,...

我是如何成为一名python大咖的?

人生苦短,都说必须python,那么我分享下我是如何从小白成为Python资深开发者的吧。2014年我大学刚毕业..

Java网络爬虫(三)--如何判断自己的模拟登录是否成功

“怎么判断模拟登陆是否成功”我最开始的时候也问过这个问题,当时对所有流程都还不熟悉,而且写的代码没一个能成功的,就给自己提了一大堆的问题,也在论坛上发表提问,在这个过程中,我遇到了很多的情况,好多都能...

python实现人人网的自动登录

python实现人人网的自动登录 学习了一个多星期的python,写一个自动登录人人网的脚本练习一下,我使用的版本为Python 3.2.2。 上网搜了下,有许多示例,不过基本上都是Pytho...
  • gavinr
  • gavinr
  • 2011-11-17 23:26
  • 5898

使用 Chrome 获取 Cookie 的数据

Chrome 浏览器自带的开发功能相当强大,这里只使用它的抓包功能。 一、在浏览器中打开目标网站并登录,进入目标页面。二、在 Chrome 浏览器下方的开发工具中单击 Network 标签页。按 F...

chrome的F12下network不能抓包的解决办法

chrome的F12下network不能抓包的解决办法

网络爬虫相关程序学习(包含jar包等)---各大网站网络爬虫

以下内容,都是本人近一年写过的东西,也算花了不少时间。所以,源码并不是免费的,但很便宜。有需要的请邮箱联系:1563178220@qq.com。另外,可以辅助编写其他网络爬虫工程。网络爬虫基础学习包含...

网络爬虫中的模拟登陆获取数据(实例教学)

目录模拟登陆的原因 如何模拟登陆 实战demo模拟登陆的原因很多网站,我们是无法直接获得服务器返回的数据,需要输入用户名及密码才能看到数据。如我们登陆人人网时,网站网址http://www.renre...

网络爬虫抓包使用及通过表单请求

近期,有人将本人博客,复制下来,直接上传到百度文库等平台。 本文为原创博客,仅供技术学习使用。未经允许,禁止将其复制下来上传到百度文库等平台。如有转载请注明本文博客的地址(链接) 如需源码程序,...

Jsoup库使用完全解析

之前写过一篇文章android 项目实战——打造超级课程表一键提取课表功能,里面用到了这个库,但是在那篇文章里,jsoup的使用几乎是没有讲到,因此,此篇文章补上。 jsoup 是一款Java 的...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)