pandas读取指定路径下的包含多个dat文件的压缩文件的数据的多种方法

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
from IPython import display
from zipfile import ZipFile


zipfilepath = r"D:\***苹果\资料**\house_3.zip" #指定的压缩文件夹位置,该压缩文件夹中有多个dat文件
#zip_file = ZipFile(zipfilepath)
#pd.read_csv(zip_file.open('channel_1.dat'))
myzip_file = ZipFile(zipfilepath)
dfs = {text_file.filename: pd.read_csv(myzip_file.open(text_file.filename))
       for text_file in myzip_file.infolist()
       if text_file.filename.endswith('.dat')}
#在house_3.zip的压缩文件夹中有.dat的多个文件,将压缩文件所在绝对路径给ziofilepath
#用zipfile包中的函数ZipFile将压缩文件给myzip.file
#大括号中定义将压缩文件夹中的所有扩展名为.dat的文件打开作为dict格式给dfs
#https://www.coder.work/article/1250300
#使用 pandas 读取 zip 文件中包含的多个文件
myzip_file.infolist()  #zip文件夹中的文件的信息

#怎样读取dict中的数据

#方法二
#https://stackoverflow.com/questions/44575251/reading-multiple-files-contained-in-a-zip-file-with-pandas
#函数pd.concat将压缩文件夹house_3.zip中的6个.dat文件读入data中,类型为dataframe,构成6竖列的结构
import pandas as pd
from zipfile import ZipFile
zipfilepath = r"D:\***苹果\资料**\house_3.zip"

#myzip_file = ZipFile(zipfilepath)  #此处可不要
data = pd.concat(
    [pd.read_csv(ZipFile(zipfilepath).open(i)) for i in ZipFile(zipfilepath).namelist()],
    ignore_index=True
)
#函数pd.concat将压缩文件夹house_3.zip中的6个.dat文件读入data中,类型为dataframe,构成6竖列的结构
#压缩文件的绝对路径放到zipfilepath中
#连接的顺序?第几列是哪个dat文件?可能是按dat文件的默认顺序连接到相应列
print(data.head())  #文件前10行数据
print(data.tail())  #文件末尾5行的数据
print(data.info())  #文件的信息

#方法三
#与方法二类似
#https://stackoverflow.com/questions/44575251/reading-multiple-files-contained-in-a-zip-file-with-pandas
#函数pd.concat将压缩文件夹house_3.zip中的6个.dat文件读入df中,类型为dataframe,构成6竖列的结构
import pandas as pd
from zipfile import ZipFile
zipfilepath = r"D:\***苹果\资料**\house_3.zip"
z = ZipFile(zipfilepath)
df = pd.concat(
    [pd.read_csv(z.open(i.filename)) for i in z.infolist() if i.compress_size > 0],
    ignore_index=True)

#方法四
#https://stackoverflow.com/questions/44575251/reading-multiple-files-contained-in-a-zip-file-with-pandas
from zipfile import ZipFile
zipfilepath = r"D:\***苹果\资料**\house_3.zip"
#功能未知,数据为zipfile类型,如何读入全部文件的数据?
#myzip_file = ZipFile(zipfilepath)  #此处可不要
z = ZipFile(zipfilepath)

text_files = z.infolist()#函数返回压缩文件夹中的各个文件信息

for text_file in text_files:
    z.read(text_file.filename)
###功能?

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值