python 从numpy保存txt 到pandas保存csv 提高保存读取效率

本文介绍了在处理大规模数据时,如何使用Python的numpy将txt数据转换为csv,以提高读取和保存的效率。当txt文件达到70万行*4列时,直接读取可能会失败。通过示例展示了numpy数据保存为csv的两种方法,并强调了使用`index=False, header=False`来避免保存行名和列名,创建无表头的csv文件。此外,还提到了使用pandas进行csv读取的方法。" 114767832,5667373,Redis主从同步:全量与断点续传解析,"['Redis', '数据库', '主从复制', '数据同步']
摘要由CSDN通过智能技术生成

当txt数据达到70w*4的时候,txt读取然后reshape会出现失败的提示,而且txt保存的数据不好看如下图:


csv的效果较好,如下


1 numpy数据保存csv示例:

融合写法:

    PointCloud=pd.DataFrame(np.array(Point_id_xyz_rgb_List).reshape(img_pair_xy.shape[0],7))

    PointCloud.to_csv('PointCloud.csv',index=False,header=False)

分开写法:

    data=pd.DataFrame(PixelP)#为了能够使这组数据成为可以让pandas处理的数据,需要通过这个数组创建DataFrame。

    data.to_csv('PixelPointPair.csv',index=False,header=False)

index=False,header=False 不保存行名和列名,就是没有表头。

2 csv读取示例:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值