先上传压缩包文件,压缩包一般都可能比较大,所以我们分片上传。上传完成后,合并分片文件得到压缩包,然后解压。
下面代码是我复制本地代码过来再改动的,如果有包忘了引入请自行引入。
import zipfile
import io
import os
import pickle
from pathlib import Path
from flask import Flask
from flask import jsonify, request
from redis import StrictRedis
app = Flask(__name__)
# redis连接
r = StrictRedis(host='127.0.0.1', db=1)
# redis设置值
def _rset(key, value, t=None, nx=False):
value = pickle.dumps(value)
r.set(key, value, ex=t, nx=nx)
# redis获取值
def _rget(key):
value = r.get(key)
if value:
value = pickle.loads(value)
return value
# redis删除值
def _rdelete(key):
return r.delete(key)
# 文件存放录入
file_dir = './upload'
# 创建一个文件传输信息(文件分片上传的准备过程)
@app.route('/check_or_create', methods=['post'])
def check_or_create():
# task_id 文件唯一识别码,这个是前端将文件md5得到的值
# chunks 文件总片段数.
param = request.get_json(silent=True)
task_id = param.get('task_id')
chunks = param.get('chunks')
# 通过task_id 找一个有没有上传过这个文件
file_info = _rget(task_id)
if file_info:
return jsonify({'code': 200, 'file_info': file_info}) # 返回数据
value = {'chunks': chunks, 'chunk': {i: 0 for i in range(chunks)}, 't': t, 'task_id': task_id}
# 这里把文件分片信息存到redis里面
_rset(task_id, value, t=3600*5)
return jsonify({'code': 200, 'file_info': value}) # 返回数据
# 分片上传,上传完成后解压文件
@app.route('/file_upload', methods=['POST'])
def upload_pajsonify():
# 接收前端上传的一个分片
param = request.get_json(silent=True)
task = param.get('task_id')
file_info = _rget(task)
if not file_info:
return jsonify({'code': 400, 'msg': '文件信息未创建'}) # 返回数据
chunk = request.form.get('chunk', 0) # 获取该分片在所有分片中的序号
chunk = int(chunk)
filename = '%s%s' % (task, chunk) # 构造该分片的唯一标识符
upload_file = request.files['file']
if not os.path.isdir(file_dir):
os.mkdir(file_dir)
upload_file.save(file_dir + '/%s' % filename) # 保存分片到本地
file_info['chunk'][chunk] = 1
_rset(task, file_info)
flag = True
for i in file_info['chunk']:
if file_info['chunk'][i] == 0:
flag = False
break
if flag:
upload_success(task)
return jsonify({'code': 200, 'file_info': file_info})
# 上传成功后合并文件并解压
def upload_success(task):
# 按序读出分片内容,并写入新文件
target_filename = f'{task}.zip' # 获取上传文件的文件名
chunk = 0 # 分片序号
with open(file_dir + '/%s' % target_filename, 'wb') as target_file: # 创建新文件
while True:
try:
filename = file_dir + '/%s%d' % (task, chunk)
source_file = open(filename, 'rb') # 按序打开每个分片
target_file.write(source_file.read()) # 读取分片内容写入新文件
source_file.close()
except(IOError):
break
chunk += 1
chunk = 0 # 分片序号
while True:
try:
filename = file_dir + '/%s%d' % (task, chunk)
os.remove(filename) # 删除该分片,节约空间
except(IOError):
break
chunk += 1
# 开始解压
dst_dir = file_dir + '/extract' # 解压目录
zip_src = file_dir + '/%s.zip' % task # 压缩包路径
with zipfile.ZipFile(zip_src, 'r') as f:
for fn in f.namelist():
extracted_path = Path(f.extract(fn, path=dst_dir))
extracted_path.rename(os.path.join(Path(dst_dir), fn.encode('cp437').decode('gbk')))
# 解压完成后删除原文件
os.remove(zip_src)