Python数据分析之逐块读取文本

 《利用Python进行数据分析》,第6章的数据加载操作read_xxx,有chunksize参数可以进行逐块加载。经测试,它的本质就是将文本分成若干块,每次处理chunksize行的数据,最终返回一个TextParser对象,对该对象进行迭代遍历,可以完成逐块统计的合并处理。文中的示例代码分析如下:

from pandas import DataFrame,Series
import pandas as pd

path='D:/AStudy2018/pydata-book-2nd-edition/examples/ex6.csv'
# chunksize return TextParser
chunker=pd.read_csv(path,chunksize=1000)

# an array of Series
tot=Series([])
chunkercount=0
for piece in chunker:
	print '------------piece[key] value_counts start-----------'
	#piece is a DataFrame,lenth is chunksize=1000,and piece[key] is a Series ,key is int ,value is the key column
	print piece['key'].value_counts()
	print '------------piece[key] value_counts end-------------'
	#piece[key] value_counts is a Series ,key is the key column, and value is the key count
	tot=tot.add(piece['key'].value_counts(),fill_value=0)
	chunkercount+=1

#last order the series
tot=tot.order(ascending=False)
print chunkercount
print '--------------'
print tot

     首先,例子数据ex6.csv文件总共有10000行数据,使用chunksize=1000后,read_csv操作返回一个TextParser对象,该对象总共有10个元素,遍历过程中打印chunkercount验证得到。

     其次,每个piece对象是一个DataFrame对象,piece['key']得到的是一个Series对象,默认的索引是数值索引,值为csv文件中的key列的值,即各个字符串。将每个Series的value_counts作为一个Series,与上一次统计的tot结果进行add操作,最终得到所有块数据中各个key的累加值。

    最后,对tot进行order排序,按降序得到各个key的值在csv文件中出现的总次数。这里很巧妙了使用Series对象的add操作,将两个Series执行add操作,即合并相同key:key相同的记录的值累加,key不存在的记录设置填充值为0。

   输出结果为:


阅读更多
个人分类: Python数据分析
上一篇CountDownLatch在NioEndpint中的应用
下一篇Java调用Shell问题整理
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

关闭
关闭
关闭