这两天在测试过程中,遇到这样的问题:
数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计 ,如果手动单个去对比,会很花时间,吃力不讨好,还容易出错。
比如说,这样的数据
需要对AskPrice值相同对应的AskQuantity 统计出来。
直接上脚本 :
import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum()
df_sum.to_csv('D:\test\orderBook2.csv')
然后运行得到:
这对于大数据量的处理特别方便。
补充知识:python处理csv文件(场景分类)
最近做一个关于场景分类的比赛,总共有20类,不到2万张图片,首先要做的就是把20类图片分到每个文件夹下。
import numpy as np
import os