csv文件和Excel文件的读取与合并
对于这两种文件可以直接使用pandas包读取
(1)、csv文件的读取
import pandas as pd
path = "数据集文件/data.csv" # 定义路径
data = pd.read_csv(path)
data.head() # 显示数据的前5行
(2)、csv文件的批量读取并合并
直接上代码
"""
同一个文件夹中相同文件类型的批量文件的读取
"""
import pandas as pd
import os
dir_file_path = "数据集文件/批量文件" # 该文件下有多个csv文件
dir_file_name = os.listdir(dir_file_path) # 获取文件夹内所有csv文件的文件名称,存放在列表中
dir_file_path_name = [os.path.join(dir_file_path, x) for x in dir_file_name]
# 使用os.path.join()函数实现路径的合并
file_con = pd.DataFrame()
for i in dir_file_path_name:
file = pd.read_csv(i)
file_con = pd.concat((file, file_con), axis=0)
file_con.to_csv("数据集文件/批量文件/合成文件.csv", index=None)
# 以上就完成了把多个文件合并的任务!
还可以使用内容追加的方法实现合并
"""
同一个文件夹中相同文件类型的批量文件的读取
"""
import pandas as pd
import os
dir_file_path = "数据集文件/批量文件"
dir_file_name = os.listdir(dir_file_path)
dir_file_path_name = [os.path.join(dir_file_path, x) for x in dir_file_name]
file_con = pd.DataFrame()
for i in dir_file_path_name:
file = pd.read_csv(i)
file.to_csv("数据集文件/批量文件/合成文件.csv", index=None, header=False, mode='a')
# 文件的追加方式mode='a',在文件的末尾添加新内容,其中参数header表示是否保留添加文件的属性名称
以上两种方法都可以实现csv文件的合并!
Excel文件的处理与csv文件类似,这里就不列举了!
博客写的简单,少了很多的文字叙述,直接看代码理解吧!