利用代理池和多线程爬取房天下上万条数据

有了代理池之后就可以爬很多网站了，很多网站的反爬措施都是从ip方面下手，通过代理池可以近乎拥有无穷的ip，再也不怕封ip啦
下面我找上了房天下这个网站练一下手，通过测试，这个网站的反爬措施是一旦你访问过于频繁，他就会给你一个验证码，通过了验证码才能继续浏览。由于本人水平有限，可以说破解不了任何的验证码，所以希望通过更换ip来达到目的。

首先，先来了解一下这个网站，我准备爬取二手房的数据

这个是筛选界面，由于最多只显示100页，所以通过筛选缩小范围

这个是房屋信息总览的界面，从这里获取这些房屋的链接

这个是具体的内容，可以获取具体信息

这个是翻页，这里可以查看总页数

下边是代码部分，假设代理池已经建立好，代理池的建立我前边也有写。
程序分为两个模块，第一个是获取所有房屋的链接，第二个是请求这些链接，然后把具体信息爬取出来。

流程图如下

获取链接模块：

import requests
from lxml import etree
import time
import pymongo


class Get_url():
    def __init__(self):
        self.headers = {
            'Cookie':'city=qhd; Integrateactivity=notincludemc; global_cookie=qcsukbug0wpm5ct4714hd1k8o1ejpxt303i; lastscanpage=0; __utmz=147393320.1545394234.2.2.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; unique_cookie=U_ag68xkap1c907mueguax03vn32xjpzcujfr*1; __utma=147393320.2031085311.1545382