-
本篇博客的文件合并主要是针对
.csv
的文件合并。 -
关于文件合并的一些数据,我会放在我的
gitee
里面,是关于新冠疫情的数据整理,需要的可以自行获取:covid19数据整理
=======================================================================
首先,要查询目录底下的文件要导入OS。并且我们要将.csv文件以pandas的dataframe底下,因此要导入PANDAS,另外由于我们要遍历目录,因此导入 GLOB:
import os
import pandas as pd
import glob
注:
import os
的作用:在python环境下对文件,文件夹执行操作的一个模块。
os.name返回当前系统
os.getcwd()返回当前的路径
os.remove(路径)删除路径下的文件
import glob
的作用: glob是python自带的一个操作文件的相关模块,由于模块功能比较少,所以很容易掌握。用它可以查找符合特定规则的文件路径名。使用该模块查找文件,只需要用到: “*”, “?”, “[]”这三个匹配符;
”*”匹配0个或多个字符;
”?”匹配单个字符;
”[]”匹配指定范围内的字符,如:[0-9]匹配数字。
f1=open(‘…/input/covid19temp/2020/12-30-2020.csv’).read()
f2=open(‘…/input/covid19temp/2020/12-31-2020.csv’).read()
with open(‘f1112.csv’,‘a+’) as f:
f.write(‘\n’+f1)
f.write(‘\n’+f2)
合并完成之后就会多出一个f1112.csv文件:
然而打开f1112.csv后发现合并后的文件有一些脏数据没有整理:
这时候我们试试skiprows
:
在读取文件的时候设置skiprows
参数的值,设置为1,会跳过一行,这里是要将第二个文件的索引属性给去掉,因为已经和第一个文件合并了,而第一个文件有索引属性了。
f1=pd.read_csv(‘…/input/covid19temp/2020/12-30-2020.csv’)
f2=pd.read_csv(‘…/input/covid19temp/2020/12-31-2020.csv’,skiprows=1)
f1112=f1.append(f2)
f1112.to_csv(‘f1112.csv’) # 导出该文件
在本地目录中打开该文件:
=============================================================================
csv_list=glob.glob(‘…/input/covid19temp/2020/*.csv’)
如果不加上的话拿到的就是目录的名称,如果加上,拿到的就是完整的目录数据
print(csv_list)
for i in csv_list:
fr=open(i,‘r’).read()
with open(‘2020csvdata.csv’,‘a’) as f:
f.write(fr)
f.close()
print(‘数据文件合并完成!’)
csv_list=glob.glob(‘…/input/covid19temp/2020/*’)
for i in csv_list:
fr=open(i,‘rb’).read()
with open(‘2020csvdata2.csv’,‘ab’) as f:
f.write(fr)
f.close()
print(‘数据文件合并完成!’)
csv_list=glob.glob(‘…/input/covid19temp/2020/*’)
csvdatadf=pd.DataFrame()
for i in csv_list:
csvdata=pd.read_csv(i)
csvdatadf=csvdatadf.append(csvdata)
print(‘数据文件合并完成!’)
合并之后使用pd.read_csv读取文件数据,一共有20W+的疫情数据记录:
=============================================================================
import os
import pandas as pd
import glob
import openpyxl
import numpy as np
path=‘…/input/covid19temp’ # 写的路径
csv_lists=[] # 该列表的作用
是否更新目录判断:
if os.path.isdir(path): #使用os.path.isdir判断path是否是路径
if not path.endswith(“/”):# 如果该路径的最后没有加上’/'的话,会帮忙加一个/
path+=“/”
print(path)
如上图所示,路径后面多了一个 ‘/’
,否则路径会找不到
文件操作:
-
os.listdir():
列出路径下所有的文件 -
os.path.join():
连接文件的作用 -
os.path.isdir():
判断是否是文件夹
最后
🍅 硬核资料:关注即可领取PPT模板、简历模板、行业经典书籍PDF。
🍅 技术互助:技术群大佬指点迷津,你的问题可能不是问题,求资源在群里喊一声。
🍅 面试题库:由技术群里的小伙伴们共同投稿,热乎的大厂面试真题,持续更新中。
🍅 知识体系:含编程语言、算法、大数据生态圈组件(Mysql、Hive、Spark、Flink)、数据仓库、Python、前端等等。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!