python pandas csv比对_python 通过使用pandas的实现的Excel的批量转换CSV文件的处理

本文介绍了如何使用Python的pandas库将Excel (xlsx/xls) 文件批量转换为CSV格式。通过读取指定目录下的所有Excel文件,遍历每个文件的每个sheet,然后将数据保存为CSV文件。
摘要由CSDN通过智能技术生成

---恢复内容开始---

最近同事在处理文件导入的时候需要把一批文件换成CSV的格式,但是直觉修改后缀是不生效的,而且xlsx和xls的文件没法直接换成CVS的文件,所以找了一下方式,并且自己实现了python的转换方式。代码如下

文件需要导入pandas 还要引入xlrd

代码是基于python3.6的环境。

import pandas as pd

import os

# 读取一个目录里面的所有文件:

def read_path(path):

dirs = os.listdir(path)

return dirs

def getpath(dir):

# pwd = os.getcwd()

# father_path=os.path.abspath(os.path.dirname(pwd)+os.path.sep+".")

file_path = '/Users/XXXX/Desktop'#桌面路径地址,地址可以根据自己需要修改

full_path=file_path+'/'+dir+'/'

return full_path

#数据源Excel如果有多个sheet,那么则需要一一遍历输出

def xlsdata_to_csv(xlsx_data,tag_path):

for K, V in xlsx_data.items():

tag_file = tag_path + K + '.csv'

if not V.empty:

V.to_csv(tag_

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
普通人也可以使用Python做数据比对,只需要学习一些基本的Python编程知识和数据处理相关的库即可。以下是一些基本的步骤和方法: 1. 读取数据:使用Python中的pandas库可以轻松读取和处理各种类型的数据文件,例如CSVExcel、JSON等。可以使用pandas.read_csv()函数读取CSV文件pandas.read_excel()函数读取Excel文件pandas.read_json()函数读取JSON文件等。 2. 数据清洗和处理使用pandas库中的各种函数可以对数据进行清洗和处理,例如去除重复值、填充缺失值、转换数据类型等。 3. 数据比对:可以使用pandas库中的各种函数进行数据比对,例如pandas.merge()函数可以根据某一列或多列进行数据合并和比对pandas.concat()函数可以将两个数据集按照行或列进行拼接。 4. 结果输出:可以将比对结果导出为CSVExcel、JSON等格式的文件,可以使用pandas.to_csv()函数导出CSV文件pandas.to_excel()函数导出Excel文件pandas.to_json()函数导出JSON文件等。 以下是一个基本的示例代码,对两个CSV文件进行比对: ``` import pandas as pd # 读取数据 data1 = pd.read_csv('data1.csv') data2 = pd.read_csv('data2.csv') # 数据清洗和处理 data1 = data1.drop_duplicates() # 去除重复值 data2 = data2.fillna(0) # 填充缺失值 # 数据比对 result = pd.merge(data1, data2, on='id') # 根据id列进行数据合并和比对 # 结果输出 result.to_csv('result.csv', index=False) # 导出为CSV文件 ``` 在这个示例中,我们首先使用pandas库读取了两个CSV文件,然后对数据进行清洗和处理,接着使用pandas.merge()函数根据id列进行数据合并和比对,最后将比对结果导出为CSV文件
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值