python爬虫多线程爬取画师通热门作品

最新推荐文章于 2024-10-16 23:34:20 发布

冰墨辰

最新推荐文章于 2024-10-16 23:34:20 发布

阅读量344

点赞数

分类专栏： Python爬虫原创源码 Python 文章标签： python xpath

本文链接：https://blog.csdn.net/qq_43421075/article/details/107449632

版权

本文介绍了使用Python进行多线程爬虫的方法，针对画师通网站的热门作品进行数据抓取。通过XPath解析HTML，实现高效稳定的爬取，探讨了线程池的运用以及如何处理反爬策略。

摘要由CSDN通过智能技术生成

import requests
import parsel
import os
from threading import Thread

headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.163 Safari/537.36"
}


def get_data(url, page):

    response = requests.get(url=url, headers=headers)
    html_data = response.text

    parse = parsel.Selector(html_data)
    data_list = parse.xpath('//div[@class="px-img"]/a/@href'