黑板客爬虫闯关第四关

上学期太忙了，第四关也就一直没去捣鼓（严重拖延症）。今天天气不错，也就抽点时间来整了整。
这一关的核心是Python多线程。密码总共有13页，每一页出现的密码是随机的。也就是说，即使你从第一页翻到最后一页，每一位的密码也不一定能全部获得。而且你会发现，页面载入速度非常慢（这是黑板课老师故意的），这样可以很好地使用Python多线程。Python的多线程和Java多线程不太一样：“Python的多线程是有compromise的，在任意时间只有一个Python解释器在解释Python bytecode”（引用自知乎-为什么有人说 Python 的多线程是鸡肋呢？）。这里的compromise是针对CPU密集型程序，但对于IO密集型程序却非常适用。因为当一个线程在等待网页数据返回时，Python解释器就可以去解释另一个线程的代码，在等待的时间内处理了其它事情。
这一关的思路很简单，先定义一个长度为100的全局list用于保存密码，初始全部置为x（这里也可以再定义一个数组用于标记对应位置密码是否已获取）：

pwdlist = ['x' for i in range(0, 100)]

再定义一个全局计数器用于统计已获取密码的位数：

count = 0

当位数达到100时，则终止线程，打印密码。
每个线程都不断访问密码页面（由于每一页都是随机的，于是这里每一次访问的都是第一页），将获得的密码与已有的密码进行比较，若是新的密码（即该位为1），则将其写入pwdlist中，并置count++：

for index in range(0, len(password_pos_list)):
                    if pwdlist[int(password_pos_list[index]) - 1] == 'x':
                        count += 1
                        pwdlist[int(password_pos_list[index]) - 1] = password_val_list[index]

这里对于密码的提取用到了BeautifulSoup，登录的方法和第三关相同，具体实现这里不过多阐述。

# coding=utf-8
import re
import requests
from bs4 import BeautifulSoup
from threading import Thread


login_website = 'http://www.heibanke.com/accounts/login'
pwd_website = 'http://www.heibanke.com/lesson/crawler_ex03/pw_list/'


# 登录记账本
def login_fun():
    s = requests.Session()
    s.get(login_website)     # 访问登录页面获取登录要用的csrftoken
    token1 = s.cookies['csrftoken']      # 保存csrftoken
    # 将csrftoekn存入字段csrfmiddlewaretoken
    dataWebsite1 = {'username': 'user',
                    'password': 'password',
                    'csrfmiddlewaretoken': token1
                    }
    s.post(login_website, data=dataWebsite1)
    return s


class MyThread(Thread):
    def __init__(self, s):
        Thread.__init__(self)
        self.s = s

    def run(self):
        global count
        global pwdlist
        global exit
        ruler = re.compile(r'.*>(\d*)<.*')  # 提取密码位置和值的正则表达式
        while count < 100:
            pwdpage = s.get(pwd_website).content
            password_pos = BeautifulSoup(pwdpage, 'html.parser').findAll('td', {'title': 'password_pos'})
            password_val = BeautifulSoup(pwdpage, 'html.parser').findAll('td', {'title': 'password_val'})
            password_pos_list = []  # 密码位置list
            password_val_list = []  # 密码值list
            if password_pos:
                for i in password_pos:
                    password_pos_list.append(ruler.findall(str(i))[0])
                for j in password_val:
                    password_val_list.append(ruler.findall(str(j))[0])
                print self.name
                print password_pos_list
                print password_val_list
                for index in range(0, len(password_pos_list)):
                    if pwdlist[int(password_pos_list[index]) - 1] == 'x':
                        count += 1
                        pwdlist[int(password_pos_list[index]) - 1] = password_val_list[index]
                print count
        if exit == 0:
            exit = 1
            print ''.join(pwdlist)

if __name__ == '__main__':
    s = login_fun()
    exit = 0
    count = 0
    pwdlist = ['x' for i in range(0, 100)]
    for i in range(0, 20):  # 线程数,可自定义
        thread = MyThread(s)
        thread.start()

正确密码：5251693147792557930332653149016366877456628817361853825367526497233818308674451353577489506952443295