pythoncsv按内容切分_Python拆分大型CSV文件代码实例

这篇文章主要介绍了Python拆分大型CSV文件代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

#!/usr/bin/env python3

# -*- coding:utf-8 -*-

# @FileName :Test.py

# @Software PyCharm

import os

import pandas as pd

# filename为文件路径，file_num为拆分后的文件行数

# 根据是否有表头执行不同程序，默认有表头的

def Data_split(filename,file_num,header=True):

if header:

# 设置每个文件需要有的行数,初始化为1000W

chunksize=10000

data1=pd.read_table(filename,chunksize=chunksize,sep=',',encoding='gbk')

# print(data1)

# num表示总行数

num=0

for chunk in data1:

num+=len(chunk)

# print(num)

# chunksize表示每个文件需要分配到的行数

chunksize=round(num/file_num+1)

# print(chunksize)

# 分离文件名与扩展名os.path.split(filename)

head,tail=os.path.split(filename)