入坑爬虫之爬取王者荣耀官网英雄皮肤

最新推荐文章于 2024-07-10 08:04:06 发布

残烛0一0照月

最新推荐文章于 2024-07-10 08:04:06 发布

阅读量3.7k

点赞数

分类专栏：爬虫入坑文章标签：爬虫程序 requests 正则表达式

本文链接：https://blog.csdn.net/weixin_42499361/article/details/81943811

版权

本文通过使用requests库和正则表达式，详细讲解如何爬取王者荣耀官方网站上的英雄皮肤信息，并将数据结构化存储到文件中。

摘要由CSDN通过智能技术生成

利用requests和正则表达式爬取王者荣耀官网英雄皮肤，并结构化保存在文件夹中

# -*- coding: utf-8 -*-
from __future__ import unicode_literals
"""
Created on Mon Aug 20 10:07:46 2018

@author: Python
"""

import requests
import re
import os

#爬取一个页面的信息
def get_one_page(url):
    response = requests.get(url=url)
    if response.status_code == 200:
        req = response.text
#        解决网页中文乱码
        html = req.encode(
            'ISO-8859-1').decode(requests.utils.get_encodings_from_content(req)[0])
        return html
    else:
        return None

#解析得到的页面信息，提取需要的数据和链接
def parse_one_page(html):
#    通过正则匹配得到需要的信息
#    匹配url
    pat = r'<li><a href="herodetail/([\w]*).shtml" target="_blank">'
    pattern = re.compile(pat, re.S)
    result = re.findall(pattern, html)
    for i in result:
#        完整的url
        hero_url = "http