python爬虫 --爬取链家项目【高级版】

最新推荐文章于 2024-04-13 22:17:31 发布

D_dalei

最新推荐文章于 2024-04-13 22:17:31 发布

阅读量456

点赞数

分类专栏：爬虫文章标签：队列 xpath python html servlet

本文链接：https://blog.csdn.net/d_wart/article/details/103721338

版权

本文介绍如何在Python爬虫项目中使用代理池，以应对链家网站的数据抓取需求。详细讲解了代理池的设置方法，推荐查阅作者先前的相关文章获取具体实现。

摘要由CSDN通过智能技术生成

爬取链家项目需要用到代理池，代理池具体怎么设置可以去翻我之前的文章

import hashlib
import requests
from lxml import etree
import pymongo
import time,re
import threading
from queue import Queue

class Lianjia(threading.Thread):
    def __init__(self,url=None,q_area = None):
        super().__init__()
        self.url = url
        self.q_area = q_area
        self.proxies = self.get_proxies()
        # 创建连接
        self.client = pymongo.MongoClient(host='localhost', port=27017)
        # 用client连接数据库
        self.db = self.client['lianjia']
        # self.main()
    def get_proxies(self):
        try:
            response = requests.get('http://localhost:5000/get')
            proxies = {
   
                'http': 'http://' + response.text
            }
            return proxies
        except Exception: