python 合并多个csv 只保留一个表头_【Python】pandas合并多个CSV表,去重表头

这篇博客介绍了如何使用Pandas在Python中合并多个CSV文件时只保留一个表头,避免行索引和重复表头的问题。通过定义`hebing`函数合并CSV,然后用`quchong`函数去除重复数据,最终实现合并后的CSV文件整洁无冗余。
摘要由CSDN通过智能技术生成

我们有三个子表,每个表都有表头但是没有每行的索引,每一个表在csv文件中结构如下:

name,age

x,65

y,77

z,10

通过Pandas打开 data = pd.read_csv(r'test.csv'),默认会加上行索引,并且第一行为列索引

name age

0 x 65

1 y 77

2 z 10

data = pd.read_csv(r'test.csv',header=None),将列索引置为空则会再次补充表头

0 1

0 name age

1 x 65

2 y 77

3 z 10

正常的合并会导致以下情况:

name,age

x,65

y,77

z,10

name,age

x,65

y,77

z,10

name,age

x,65

y,77

z,10

因此在我们合并时,希望做到的是只保存一个表头,不添加行索引。但是通过df.drop_duplicates()去重对读入的表头只能去掉一个,因为作为表头的那一行不会进行匹配。

代码整理如下

import pandas as pd

import glob

def hebing(csv_list, outputfile):

for inputfile in csv_list:

f = open(inputfile)

data = pd.read_csv(f)

data.to_csv(outputfile, mo

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值