多线程爬取58同城二手车信息

最新推荐文章于 2024-06-27 18:16:02 发布

Yeahmeng

最新推荐文章于 2024-06-27 18:16:02 发布

阅读量948

点赞数 1

分类专栏： python 爬虫文章标签：多线程 python

本文链接：https://blog.csdn.net/yeahMeng/article/details/105965274

版权

本文介绍了如何使用多线程技术爬取58同城的二手车信息。通过创建线程和队列实现数据的并发抓取与传输，详细讲解了线程的概念、优缺点以及在爬虫中的应用。还提到了数据解析过程中遇到的乱码问题，以及解决思路。

摘要由CSDN通过智能技术生成

多线程爬取58同城二手车信息

多线程

简介：线程是轻量级的进程，是程序执行流的最小单元，它不拥有系统的资源，运行占用独立的资源且资源小，且多个线程共享一个单元，同一进程中多个线程可以并发执行（线程轮流使用，因为cpu处理和切换比较快），比较适合计算量小但比较耗时的工作（如爬虫）。
缺点：
1.cpu分配给每个线程的时间非常短，以此来‘伪装’多线程，但过短的时间导致cpu需要在多个线程之间来回切换，非常损耗性能。
2.数据安全性：不合理的设计导致cpu获取了多个锁之后，会出现死锁的现象，程序无法执行。

导入必要的库

import requests
import threading
from lxml import etree
from threading import Thread
import json
import queue
import time

简述下queue（队列）的作用：queue相当于是一个数据搬运工，例如我们在queue中添加了一串数字‘a,b…z’(queue.put())，那么当程序由生产者模块（类）运行到另一个消费者模块（类）后，通过queue.get()的方式可以获取队列中的数据，这个过程就是实现了数据的传输，queue充当了快递员的作用

爬取数据

class Crawl_data(Thread):
    def __init__(self, page_queue, data_queue, name):
        super(Crawl_data, self).__init__()
        self.headers = {
   'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.122 Safari/537.36'}
        #接待page_queue快递员，它的手中有页码的数据
        self.page_queue = page_queue
        #data_queue 用于储存爬取页数和响应内容
        self.data_queue = data_queue
        #name 用于记录当前采集线程的名称
        self.name = name
        self.base_url = 'https://wz.58.com/ershouche/pn'

    def run(self):
        print('---%s启动---' % self.name)
        while True:
            #如果page_queue快递员还有数据，则循环继续执行，直到快递员两手空空
            if self.page_queue.empty():
                break
            #获取page_queue快递员传输的数据
            page = self.page_queue.get()
            url = self.base_url + str(page