python批量合并csv文件,使用Python批量合并文件夹下.csv数据

使用Python批量合并文件夹下.csv数据

实现目标：一个文件夹下包括n个.csv数据文件，想将后缀为ts.csv的文件与对应数字的.csv文件进行合并

此图为wf.csv文件中的数据格式，ts.csv文件是与此文件等行数的一列数据，将此列数据添加到已有18列数据的后面，完成数据合并操作

代码如下：

import pandas as pd

from pandas import DataFrame

import os

import numpy as np

import csv

import xlrd

import xlwt

import time

# https://www.cnblogs.com/nxf-rabbit75/p/10105271.html替换一些小技巧

path = r'C:\Users\Administrator\Desktop\mat'#文件夹路径

def get_file(): # 创建一个空列表

files = os.listdir(path)

list = []

for file in files:

if not os.path.isdir(path + file): # 判断该文件是否是一个文件夹

f_name = str(file)

# print(f_name)

tr = '\\' # 多增加一个斜杠

filename = path + tr + f_name

#filename = f_name

list.append(filename)#得到所有数据文件的名字

return list

list = get_file()

#start=time.time()

i=0

for f in list[1::2]:

df = pd.read_csv(f,header=None) # 每个csv文件中的数据

data1 = np.array(df) # 把表格转换成数组的格式

df1 = pd.read_csv(list[i],header=None) # 每个csv文件中的数据

data2 = np.array(df1) # 把表格转换成数组的格式

#np.insert(data2, 18, values=data1, axis=1)

data3=np.c_[data2,data1]#将data1数据加载在data2数据列后面

dfdata = pd.DataFrame(data=data3)

filename=os.path.basename(list[i])#截取文件名

datapath1 = 'C:\\Users\\Administrator\\Desktop\\combineFile\\' + filename

dfdata.to_csv(datapath1,index=False,header=None) # 进行数据的保存

i=i+2

#end=time.time()

#print("此程序一共运行%s"%(end-start))

转换成功啦！

一定要注意如果建立了numpy.array是不能改变原有数组的值，只能新建一个变量进行保存生成的数据！！！

给numpy矩阵添加一列的方法和实例：https://blog.csdn.net/weixin_39624716/article/details/111434490utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-2spm=1001.2101.3001.4242

使用Python批量合并文件夹下.csv数据 相关文章

【安卓爬虫JAVA版-1】在android studio 之中使用json数据格式

初衷 这个博客的初衷是为了记录项目的步骤，尤其是环境的配置，方便队友在那边的机器上重现这个项目的时候用的，当然，如果能帮到一些正在为环境而头疼的人也是更好的 # 前置条件 1.jdk的安装 2.Android studio的安装 3.Android studio虚拟机的安装 条件，你

03_游标的使用

1 ************************************** 2 游标的使用 3 ************************************** 4 --12.1 使用游标 5 6 --要求: 打印出 80 部门的所有的员工的工资:salary: xxx 7 8 declare 9 --1. 定义游标 10 cursor salary_cursor is select salary

使用深度强化学习实现金融时序交易买卖点预测

闲言碎语不要表，看看代码就知晓。代码架构如下 # for nature DQNclass GPModel(tf.keras.Model): def __init__(self)：... def call(self, inputs, training=None, mask=None):... @staticmethod def __build_dnn_a(activation_function=tf.nn.selu, useBat

类似jar文件使用java无法打开问题

## 原因我一个彩笔在ctfhub，想对图片进行分割，拼接等操作，需要用到**Stegsolve**但是安装了java环境的我无法打开，经过校友的3、4次卸载安装还是没有让这个文件打开。。。(当然选择了正确的应用程序打开方式，环境变量也试了，就是打不开)命令窗口输入j

Python之qq自动发消息

准备：pip install win32gui 可能遇到的麻烦： No module named ‘win32gui‘ 的解决方法(踩坑之旅) 源码： import win32guiimport win32conimport win32clipboard as wimport timedef send(name, msg): # 打开剪贴板 w.OpenClipboard() # 清空剪贴板 w.Em

python爬取豆瓣电影排行榜(requests)

''' 爬取豆瓣电影排行榜 设计思路： 1、先获取电影类型的名字以及特有的编号 2、将编号向ajax发送get请求获取想要的数据 3、将数据存放进excel表格中''' 环境部署： 软件安装： Python 3.7.6 官网地址：https://www.python.org/ 安装地址：https://www.pytho

Oracle中savepoint的使用

create table TABLE5( id INTEGER, name VARCHAR2(10));prompt Importing table table5...set feedback offset define offinsert into table5 (ID, NAME)values (1, '赵1');insert into table5 (ID, NAME)values (2, '赵2');insert into table5 (ID, NAME)va

教你使用GitHub搭建个人网站

微信搜索：码农StayUp 主页地址：https://gozhuyinglong.github.io 源码分享：https://github.com/gozhuyinglong/blog-demos 1. 创建一个代码仓库 登录你的GitHub，点击右上角的 + 号按钮，选择【New repository】，打开创建新仓库页面。 创建一个名为为 use

git基础使用

作用 进行版本控制 在开发过程中用于管理我们对文件、目录或工程的修改历史，方便查看更改的历史记录，备份以便恢复以前的版本。 简单来说就是用于管理多人同时开发项目的技术。 常用的版本管理工具 Git ：目前世界上最先进的分布式版本控制系统。 SVN 两者

vim使用方法

1.Vim的几种模式 正常模式：可以使用快捷键命令，或按:输入命令行。 插入模式：可以输入文本，在正常模式下，按i、a、o等都可以进入插入模式。 可视模式：正常模式下按v可以进入可视模式， 在可视模式下，移动光标可以选择文本。按V进入可视行模式， 总是整