利用python批量下载网页文件（url）

Dr.hao2021

已于 2022-07-06 10:39:30 修改

阅读量1.3w

点赞数 4

文章标签：爬虫 python

于 2021-07-26 10:39:17 首次发布

本文链接：https://blog.csdn.net/sinat_41646226/article/details/119104440

版权

#废话不多，直接上手

# -*- coding: utf-8 -*-
import urllib.request  # url request
import re  # regular expression
import os  # dirs
import time

'''
url 下载网址
pattern 正则化的匹配关键词
Directory 下载目录
'''


def BatchDownload(url, pattern, Directory):
    # 拉动请求，模拟成浏览器去访问网站->跳过反爬虫机制
    headers = {'User-Agent':
               'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'}
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]

    # 获取网页内容
    content = opener.open(url).read().decode('Utf-8')

    # 构造正则表达式，从content中匹配关键词pattern
    raw_hrefs = re.findall(pattern, content, 0)

    # set函数消除重复元素
    hset = set(raw_hrefs)

    # 下载链接
    for href in hset:
        # 之所以if else 是为了区别只有一个链接的特别情况
        if (len(hset) > 1):
            link = url + href[0]
            filen