python中dtype的使用规范_Python read-cs的dtype选项的使用

博主尝试通过预读取100行来确定数据类型,以提高读取大型CSV文件的速度。然而,在使用dtype参数时遇到问题,因为所有列的数据类型在完整读取时都变成了对象,而非初始的混合类型。问题可能在于将不同类型的列转换为字典时的处理。代码在尝试用这个字典加载整个数据集时失败。
摘要由CSDN通过智能技术生成

我试图通过首先读取前100行,确定数据类型,然后将其作为完整读取的输入,来加快大文件的读取速度。不过,我对dtype选项有一些问题。它需要一个字典,但我的代码似乎不起作用,因为train变量的所有数据类型都是对象,而初始变量中还有诸如整数和float之类的其他类型。我做错什么了?在

这是我的密码import zipfile as zipf

train_zip = zipf.ZipFile('train.csv.zip')

initial = pd.read_csv(train_zip.open('train.csv'), nrows=100)

dic = dict(zip(list(initial.columns.values), initial.dtypes))

train = pd.read_csv(train_zip.open('train.csv'), dtype=dic)

需要说明的是:我的初始数据帧中的数据类型是正确的。以下是一些输出示例:

^{pr2}$

在读取train变量时对dtype=dic的调用出错了。因为火车的类型有:train.dtypes

ID object

VAR_0001 object

VAR_0002 object

VAR_0003 object

VAR_0004 object

VAR_0005 object

VAR_0006 object

VAR_0007 object

VAR_0008 object

VAR_0009 object

VAR_0010 object

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值