Python与mysql 批量下载网站上的文件到本地，并对其进行重命名

前几天在实际运用中遇到了这么一个问题，想要将一个网站上所存储的附件文件批量下载下来，并对其进行重命名的工作，应该如何操作呢？

最终代码实现的解决方法如下：

1. 首先将网站上所保存的附件名称，所对应的文件下载路径等更多详细信息存放在mysql数据库中，最终得到一个信息对应的mysql数据库表；

2. 接下来根据mysql数据库表我们就可以用python来解决我们所遇到的问题了，代码如下：

第一步：建立数据库连接

import os
import requests
import pymysql

# 建立数据库连接
connection = pymysql.connect(host='127.0.0.1',
                             port=此处填写自己的端口号,
                             user='此处填写自己的数据库用户名',
                             password='此处填写自己的数据库密码',
                             database='此处填写自己的数据库名称',
                             charset='utf8')
cursor = connection.cursor()  # cursor为连接数据库的实例

第二步：确定好下载和保存文件路径

# 从数据库中获取文件路径
cursor.execute("SELECT file_path,file_name,MC,NF FROM table")
rows = cursor.fetchall()

# 基础URL
base_url = 'http://...'  # 此处填写你想要下载的基础网站

# 本地保存目录
local_dir = 'D:\\1\\'

第三步：遍历数据库表获取文件并进行重命名操作

for row in rows:
    file_path, file_name, MC, NF = row

    # 构建完整的URL
    url = base_url + file_path

    # 获取文件
    response = requests.get(url)  # 发送请求，并把响应结果赋值给变量response
    if response.status_code == 200:
        # 根据给定的规则创建新的文件名称，同时保留原始的文件后缀
        extension = os.path.splitext(file_path)[1]
        new_file_name = f"{NF}/{MC}_{file_name}"
        new_file_path = os.path.join(local_dir, new_file_name)

        # 如果目录不存在，创建目录
        new_dir = os.path.dirname(new_file_path)
        os.makedirs(new_dir, exist_ok=True)

        # 保存文件
        with open(new_file_path, 'wb') as f:
            f.write(response.content)

cursor.close()
connection.close()

运行后我们就发现想要下载的文件都保存到本地啦！希望可以给遇到问题的你带来帮助，如果有问题欢迎大家评论区留言讨论！