利用Pandas进行CSV文件转存并写入Mysql

最近在做文件写入数据表。纪录下遇到的问题

背景

由于业务变更，需要导入大约两个月的数据。考虑到第三方平台提供的 API 存在速率和其他限制，我们决定使用文件导出数据的方式。为了进行测试，我选择了一个大小约为 3G 的 CSV 文件。这个文件在电脑上的操作不太方便，因为其中只有部分列是我们需要的，其他无用的信息我们不想要。然而，手动逐个处理是不现实的，所以我打算使用 Pandas 来实现处理。

转存数据

去除不需要的列，将需要的列转存为另外一份文件。

import pandas as pd

def dumpfile(csv_file: str, col: list):
    """
    读取csv文件，并选择转存的列，另存为一个新的文件
    :return:
    """
    data = pd.read_csv(csv_file)
    if len(list) > 0:
        selected_columns =</