windows环境下使用python解压大文件

这里遇见的是在windows环境下解压gz文件，遇见较大文件时，占用内存过大导致解压失败，这里推荐一个解决办法，调用WinRAR软件来解压压缩文件

def compress_with_winrar(file_path, rar_path='"C:/Program Files (x86)/WinRAR/WinRAR.exe"'):
    """
    使用 WinRAR 解压文件
    :param file_path: 压缩文件的绝对路径
    :param WinRAR: WinRAR软件的绝对路径
    :return:
    """
    unzip_file_path = file_path.replace('.gz', '')
    # 路径处理，视各自情况而定，我这里是为了处理反斜杠问题
    file_path1 = file_path.replace('\\', '/')
    dir_path = file_path1.rsplit('/', 1)[0]
    # 切换到压缩文件所在文件夹
    cd = f'cd /d {dir_path}'
    # 下面的命令是将当前文件夹下的所有gz压缩文件解压成对应的csv文件
    compress = f'{rar_path} e *.gz *.csv'
    # 执行压缩命令并返回执行状态
    try:
        state = os.system(f'{cd} && {compress}')
    except Exception as e:
        logging.error('compress_with_winrar failed, path: %s, error: %s' % (file_path, traceback.format_exc()))
        unzip_file_path = False

    return unzip_file_path

目前适用一次只解压一个文件，没试过并发解压不同文件夹的不同压缩文件。

参考链接：

传送门