pandas将.csv分割成多个文件

今天测试爬虫scrapy爬取站点图片,保存的.csv文件数据有530000+行,使用excel打开非常缓慢,所以想着给他切割成多个文件,这样打开查看就很方便了。

# code=utf-8
import pandas as pd

# 打开文件
data = pd.read_csv(r'C:\Users\Admin\Desktop\爬虫爬取的文件\xxx.csv')

# 每个excel保存3万行,那么530000+数据需要18个.csv文档保存
 for i in range(0, 18):
 	save_data = data.iloc[i*30000 + 1 : (i+1)*30000+1]
    file_name = r'C:\Users\Admin\Desktop\爬虫爬取的文件\xxx' + str(i) + '.csv'  # 保存文件路径以及文件名称
    save_data.to_csv(file_name, index=False)  # 保存格式为.csv,如果是xlsx则修改为save_data.to_excel

查看结果,发现被分割成了18个.csv文件
在这里插入图片描述

  • 9
    点赞
  • 31
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
如果你需要将数据存储到多个CSV文件中,你可以使用Python的csv模块或者pandas模块来实现。 使用csv模块,你可以按照以下步骤将数据存储到多个CSV文件中: 1. 将数据按照你需要的方式分割若干部分。 2. 使用csv模块的writer对象将每部分的数据写入到对应的CSV文件中。 以下是一个简单的示例代码: ```python import csv data = [[1, 'a'], [2, 'b'], [3, 'c'], [4, 'd'], [5, 'e'], [6, 'f'], [7, 'g'], [8, 'h'], [9, 'i'], [10, 'j']] # 将数据分割两部分 part1 = data[:5] part2 = data[5:] # 将每部分数据写入对应的CSV文件 with open('part1.csv', 'w', newline='') as f: writer = csv.writer(f) writer.writerows(part1) with open('part2.csv', 'w', newline='') as f: writer = csv.writer(f) writer.writerows(part2) ``` 使用pandas模块,你可以按照以下步骤将数据存储到多个CSV文件中: 1. 将数据按照你需要的方式分割若干部分。 2. 使用pandas的DataFrame对象将每部分的数据写入到对应的CSV文件中。 以下是一个简单的示例代码: ```python import pandas as pd data = [[1, 'a'], [2, 'b'], [3, 'c'], [4, 'd'], [5, 'e'], [6, 'f'], [7, 'g'], [8, 'h'], [9, 'i'], [10, 'j']] # 将数据分割两部分 part1 = data[:5] part2 = data[5:] # 将每部分数据写入对应的CSV文件 df_part1 = pd.DataFrame(part1, columns=['id', 'name']) df_part1.to_csv('part1.csv', index=False) df_part2 = pd.DataFrame(part2, columns=['id', 'name']) df_part2.to_csv('part2.csv', index=False) ``` 以上代码将数据分割两部分,每部分包含5条数据,然后将数据写入到part1.csv和part2.csv两个文件中。你可以根据实际需求修改代码。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值