python爬虫模拟登录网站（一）-----豆瓣

在爬虫模拟登录的程序实现中，有很多网站比如新浪登录过程很复杂，而且还有很多数据加密传输，但是豆瓣就稍微简单一点了

可是本是初学python爬虫，所以在自己写登录程序时还是遇到了很多问题。

不多BB，进入正文。

一、分析一下吧

1、登录程序中，看到要先找到登录地址url=“https://accounts.douban.com/login”，我使用的是火狐的HttpFox，先在浏览器上使用账户密码登录一下，使用工具HttpFox获取到header和提交的数据

2、在post data中可以看到几个传输的参数，提交的数据在源码里找到相应的位置，其值就可以在源码里面提取出来。

3、在登录的时候还需要判断是否需要输入验证码，在我的程序里使用的是半自动化，从源码中获取到验证码图片的地址，程序自动打开浏览器并打开图片，人为手动在控制台输入验证码。

4、豆瓣的登录程序较简单，所以只需要找到提交的数据，然后模拟提交并获取到cookie就可以登录进去了。

5、问题就来了，对于初学者的我来说，获取cookie的方法还不是很熟悉，所以花了很多时间来完成了这个程序，主要问题是在提交数据方面正确，各种数据获取也正确，但是就是登录不进去，响应返回的是一大堆乱码的东西，后来对cookie进行了值的跟踪监测，总算发现了问题，在程序获取cookie时并没有获取到原始cookie，导致后面提交了表单后的cookie出错，也是导致登录失败的主要原因。经过逻辑和cookie的使用方式的更正后，程序模拟登录成功了。！！

二、程序实现

直接上全部源代码吧。。

# DoubanMain.py

import urllib2
import re
import cookielib
import EncodePostData
import webbrowser

class DOUBAN:
    def __init__(self, username, password):
        # 初始化登录地址、账号和密码
        self.loginUrl = "https://accounts.douban.com/login"
        self.username = username
        self.password = password
        self.cookies = cookielib.CookieJar()
        self.headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'Host': 'accounts.douban.com',
            'Referer': 'https://accounts.douban.com/login?alias=&redir=https%3A%2F%2Fwww.douban.com%2F&source=index_nav&error=1001',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0',
            'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
            'Accept-Encoding': 'gzip, deflate, br',
            'Content-Type': 'application/x-www-form-urlencoded',
            'Content-Length': '129'
        }

    # 登录程序
    def login(self):
        self.EnableCookieAndProxy()   # 使用代理
        source, redir, yzmUrl, captchaID = self.getData()   # 返回相关post数据和验证码链接
        if yzmUrl:  # 如果有验证码
            captchaSolution = self.getCaptchSolution(yzmUrl)   # 获取验证码
            print captchaSolution
        else:
            captchaSolution = ""
        postData = EncodePostData.PostEncode(self.username, self.password, source, redir, captchaSolution, captchaID)
        request = urllib2.Request(self.loginUrl, postData, self.headers)
        response = urllib2.urlopen(self.loginUrl, postData)

    # 添加代理和cookie
    def EnableCookieAndProxy(self):
        # 添加cookie
        cookieSupport = urllib2.HTTPCookieProcessor(self.cookies)
        # 添加代理
        proxySupport = urllib2.ProxyHandler({'http': '58.222.254.11:3128'})  # 使用代理
        opener = urllib2.build_opener(proxySupport, cookieSupport, urllib2.HTTPHandler)
        urllib2.install_opener(opener)  # 构建对应的opener

    # 获取post数据和验证码链接
    def getData(self):
        page = urllib2.urlopen(self.loginUrl).read()
        # source, redir, captchaID, login, yzm
        pattern = re.compile('<input name="source".*?value="(.*?)".*?<input name="redir".*?value="(.*?)".*?<img id="captcha_image" src="(.*?)".*?<input.*?name="captcha-id" value="(.*?)"', re.S)
        items = re.search(pattern, page)
        print "captcha-id: ", items.group(4)
        #       source          redir           yzmUrl          captcha-id
        return items.group(1), items.group(2), items.group(3), items.group(4)

    # 读取验证码
    def getCaptchSolution(self, yzmUrl):
        webbrowser.open_new_tab(yzmUrl)  # 打开验证码图片
        # 手动输入验证码
        yzm = raw_input("请输入浏览器显示的验证码: ")
        return str(yzm)

# 测试代码
db = DOUBAN("这是账号", "这是密码")
db.login()

# EncodePostData.py
# 封装post数据

import urllib

def PostEncode(username, password, source, redir, captchaSolution, captchaID):
    postData = {
        'form_email': username,
        'form_password': password,
        'source': source,
        'redir': redir,
        'login': "登录"
    }
    if captchaSolution:
        postData['captcha-solution'] = captchaSolution
        postData['captcha-id'] = captchaID
    print "post data: ", postData
    return urllib.urlencode(postData)