python爬虫 --多线程爬取笔趣网小说【晋级版】

最新推荐文章于 2024-01-02 14:56:05 发布

D_dalei

最新推荐文章于 2024-01-02 14:56:05 发布

阅读量726

点赞数 1

分类专栏：爬虫文章标签： xpath 队列 python queue url

本文链接：https://blog.csdn.net/D_wart/article/details/103695881

版权

本文将介绍如何使用Python进行多线程爬虫，聚焦于XPath解析和队列技术，通过`queue`模块管理URL，高效地爬取笔趣网上的小说资源。

摘要由CSDN通过智能技术生成

import requests
from lxml import etree
import os
from queue import Queue
import threading
class Biquge(threading.Thread):
    def __init__(self,url=None,name=None,q_novels=None):
        super().__init__()
        self.url = url
        self.name = name
        self.q_novel = q_novels
        self.proxies = self.get_proxies()
        # self.parse()

    def get_proxies(self):
        try:
            response = requests.get('http://localhost:5000/get')
            proxy = response.text
            proxies = {
   
                'http': 'http://' + proxy
            }
            return proxies
        except Exception:
            return None

    def get_xpath_by_requests(self,url, proxies)