python 保存csv,多列

需求:将多个csv文件读取出来,将数据合并到一个csv文件,
1、遍历文件夹,将scv文件存入到列表list1
2、遍历列表list1读取csv文件,将读到的数据存入到二维列表list2
3、开始处理二维列表:
3.1、因为二维列表里的各个列表长度不一致,首先通过插入空值的方法处理成长度一致的列表
3.2、将列表list2转秩,如果不转秩,将会出现行列交换的现象
3.3、写入到新的csv文件

# coding=utf-8
import pandas as pd
import MySQLdb   
import csv
import random
import pymysql
import pandas as pd
import MySQLdb as mdb
import sys
import time
import os
import numpy as np
import time
import gzip
import datetime

#保存成二维csv
def savecsvfromlisttwo(p_list, p_name):
      m_len =0
      #找到最大长度
      for i in range(len(p_list)):
            tep_len = len(p_list[i])
            if tep_len>m_len:
                  m_len = tep_len
      #把小于最大长度的列表补空值,否则下面转秩的时候会按照最短的来转,会丢失数据
      for i in range(len(p_list)):
            t_len = len(p_list[i])
            for j in range(m_len):
                  if j>t_len:
                        p_list[i].append("")

      #转秩
      L =list(map(list,zip(*p_list)))

      #写入csv  encoding='utf-8-sig'  防止中文乱码
      with open(p_name, 'w', encoding='utf-8-sig', newline='\n') as file_handler:
            file_writer = csv.writer(file_handler)            
            # print(m_list[0])
            file_writer.writerows(L)



def fun1(p_list):
      m_list = []
      for i in range(len(p_list)):
            m_dir  = os.path.dirname(p_list[i]) #输出为 'C:/Users/Desktop/lesson/python'
            m_file = os.path.basename(p_list[i]) #输出为 class1.py

            print("m_dir = ",m_dir)
            print("m_file = ",m_file)

            file_name = os.path.basename(m_file)
            file_name = file_name.split('.')[0]
            print(file_name)

            data1 = np.loadtxt(p_list[i],delimiter=',')
            data1 = data1.tolist()
            print("data1 len = ",len(data1))

            data1.insert(0,file_name)
            #将各个csv文件数据放到二维列表
            m_list.append(data1)
            print(type(data1) , type(m_list))
      savecsvfromlisttwo(m_list , r"D:\3333.csv")


def walkFile_list(file):
    p_list = []
    m_count=0
    for root, dirs, files in os.walk(file):
        for f in files:
            m = os.path.join(root, f)
            ss=os.path.splitext(m)
            a = os.path.basename(m)
            if (".csv" == ss[1]):
                  #获取到所有的csv文件
                  p_list.append(m)
            else:
                pass
    return p_list


def main():
      dir = r"E:\Data"
      m_list = walkFile_list(dir)
      fun1(m_list)

if __name__ =="__main__":
      print("start")
      main()
  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值