虎牙直播分类图片爬虫

Python_Heaven

于 2019-09-01 23:39:23 发布

阅读量1.4k

点赞数 1

分类专栏：直播信息抓取文章标签：爬虫 python 游戏

本文链接：https://blog.csdn.net/qq_36710311/article/details/100189607

版权

本文介绍了一位作者尝试爬取虎牙直播平台各分类图片的过程，已将图片按游戏名称命名并存入对应文件夹。虽然代码可能需要优化，但基本功能已经实现，作者欢迎读者提供改进意见。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

今天看到求职有家公司写到需要爬取各大直播平台信息，我就先小试牛刀一下，爬取了虎牙直播的这四个分类图片，应该已经是全站的分类了，并且按游戏名命名，存入在不同的文件夹。可能代码需要一些优化，但是我目前只能做到这里，代码写的还算正常。

在判断怎么写入文件，并分类区分如何存入，我想了半天，只好用i =1,2,3,4,传入，应该有更好的判断方法，有看到的朋友可以留言，学习一下。
第二步：附上代码

# -*- coding: utf-8 -*-
import os
import random
import time
from lxml import etree
import requests


class HuYaSpider(object):
    def __init__(self):
        self.url_list = ["https://www.huya.com/g_ol",
                    "https://www.huya.com/g_pc",
                    "https://www.huya.com/g_yl",
                    "https://www.huya.com/g_sy"]
        self.domain = "https://www.huya.com/g_sy"
        self.headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTM

最低0.47元/天解锁文章