最近在做文件写入数据表。纪录下遇到的问题
文章目录
背景
由于业务变更,需要导入大约两个月的数据。考虑到第三方平台提供的 API 存在速率和其他限制,我们决定使用文件导出数据的方式。为了进行测试,我选择了一个大小约为 3G 的 CSV 文件。这个文件在电脑上的操作不太方便,因为其中只有部分列是我们需要的,其他无用的信息我们不想要。然而,手动逐个处理是不现实的,所以我打算使用 Pandas 来实现处理。
转存数据
去除不需要的列,将需要的列转存为另外一份文件。
import pandas as pd
def dumpfile(csv_file: str, col: list):
"""
读取csv文件,并选择转存的列,另存为一个新的文件
:return:
"""
data = pd.read_csv(csv_file)
if len(list) > 0:
selected_columns =</