python 爬虫多页数据爬取多线程爬取案例

最新推荐文章于 2024-04-30 18:40:53 发布

乎你

最新推荐文章于 2024-04-30 18:40:53 发布

阅读量10w+

点赞数 1

分类专栏：爬虫文章标签：队列乱码多线程 python xpath

本文链接：https://blog.csdn.net/m0_50944918/article/details/110130832

版权

本文通过一个实例详细讲解如何使用Python进行多页数据的多线程爬取，涉及队列管理、乱码处理及XPath解析技术，提升爬虫效率。

摘要由CSDN通过智能技术生成

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# @Time    : 2020/11/24 18:33
# @Author  : huni
# @File    : 多线程+多页爬）.py
# @Software: PyCharm

from threading import Thread        #多线程的包
from queue import Queue             #队列
from fake_useragent import UserAgent    #模拟请求头的包，可用可不用，我这里没用，自己写的headers
import requests
from lxml import etree
import os
import time


class CrawlInfo(Thread):

    #重写构造函数
    def __init__(self,url_queue,html_queue):
        Thread.__init__(self)
        #声明两个类属性
        self.url_queue = url_queue
        self.html_queue = html_queue

    #重写run方法
    def run(self):
        #爬虫代码
        headers = {
   
            'Connection': 'close',
            'referer': 'https://www.xiurenji.com/XiuRen/',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36'
        }
        while self.url_queue.empty() == False:          #当url队列中不是空的就继续爬
            url = self