Pandas分割超大csv文件(涉及文件编码问题)
Pandas分割超大csv文件(涉及文件编码问题)
主要解决利用pandas分割csv文件时因文件太大出现 memory error的问题。
以及预防文件乱码。
建议先做好文件探查再确定每个文件具体保存多少行。
# 分割文本容量很大很大的csv文件 Moira 2021.3.4
#!/usr/bin/env python3
# -*- coding:utf-8 -*-
import csv
import pandas as pd
# 读入的时候一定看一下文件的编码格式,可以用记事本查看
# 如果编码是
原创
2021-03-05 14:43:48 ·
923 阅读 ·
0 评论