在训练机器学习模型的过程中，源数据常常不符合我们的要求。大量繁杂的数据，需要按照我们的需求进行过滤。拿到我们想要的数据格式，并建立能够反映数据间逻辑结构的数据表达形式。
最近就拿到一个小任务，需要处理70多万条数据。
我们在处理CSV文件时，经常使用的大熊猫，可以帮助处理较大的CSV文件。
大熊猫中处理CSV文件的函数主要为read_csv() 状语从句：to_csv()这两个，其中read_csv() 读取CSV文件的内容并返回DataFrame，to_csv() 则是其逆过程。
在一前的博客中，曾写过用大熊猫按照一行一行的方式来取取CSV文件的方式，具体可以看这篇链接.Python基础：CSV文件的读写（熊猫，CSV两种方式）
但这样读取的方式，显然比较低效，下面是我自己在处理数据时使用过的一些比较实用的方法。
1.读取限定列
一个CSV文件中，往往有很多不同的列，而我们通常只关注其中的某些列，如果把每行都读取出来，再提取信息，显然会增加IO量，因此我们可以在读文件的时候，定给read_csv()方法的参数，从而提高效率。
file = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])在usecols参数中，给定了要读取的3列，文件中则只包含这3列的信息。
2.读取限定行
实际写代码的过程中，往往需要先跑一部分数据进行测试，测试通过后，再处理所有的数据。也可能我们仅仅需要一部分数据进行运算。时候这就可以使用read_csv()方法中的nrows参数，设定读取的行数。
file = pd.read_csv('demo.csv',nrows=1000,usecols=['column1', 'column2', 'column3'])仅读取前1000行数据。
3.分块读取
read_csv()方法中还有一个参数，chunksize可以指定一个CHUNKSIZE分块大小来读取文件。与直接使用DF进行遍历不同的是，查看报道的它英文的一个TextFileReader类型的对象。
-
reader = pd.read_csv('demo.csv',nrows=10000, -
usecols=['column1','column2','column3'], -
chunksize=1000,iterator=True) -
reader
输出： <pandas.io.parsers.TextFileReader at 0x120d2f290>
4.其他
头（）和尾部（）
拿到一个很大的CSV文件后，为了看清文件的格式，可以使用该方法，先查看前10条数据。头（）方法默认是10条，也可以用尾（）方法查看最后10条数据。
-
file = pd.read_csv('demo.csv') -
df = pd.DataFrame(file) -
df.head() -
df.tail()
目前用到的就是这些，之后用到再补充。
拿到数据之后，分析数据之间的逻辑，建立相应的能够表示数据间逻辑关系的数据结构，再进行相应的处理。
原文链接：https：//blog.csdn.net/ninnyyan/article/details/80999378
使用pandas分块处理大文件
问题：今天在处理快手的用户数据时，遇到了一个差不多600M的TXT文本，用升华打开都蹦了，我用pandas.read_table（）去读，差不多花了近2分钟，最后打开发现差不多3千万行数据。这仅仅是打开，如果要处理不知得多费劲。
解决：我翻了一下文档，这一类读取文件的函数有两个参数：chunksize，iterator
原理就是不一次性把文件数据读入内存中，而是分多次。
1，指定CHUNKSIZE分块读取文件
read_csv 和 read_table 有一个chunksize参数，用以指定一个块大小（每次读取多少行），返回一个可迭代的 TextFileReader 对象。
-
table=pd.read_table(path+'kuaishou.txt',sep='\t',chunksize=1000000) -
for df in table: -
对df处理 -
#如df.drop(columns=['page','video_id'],axis=1,inplace=True) -
#print(type(df),df.shape)打印看一下信息
- 1
- 2
- 3
- 4
- 五
我这里又对文件进行了划分，分成若干个子文件分别处理（没错，to_csv也同样有CHUNKSIZE参数）
2，指定迭代=真
iterator=True报道查看同样的的英文TextFileReader对象
-
reader = pd.read_table('tmp.sv', sep='\t', iterator=True) -
df=reader.get_chunk(10000) -
#通过get_chunk(size)，返回一个size行的块 -
#接着同样可以对df处理
- 1
- 2
- 3
- 4
原文链接：https：//www.cnblogs.com/frchen/p/5749814.html
使用Python Pandas处理亿级数据
在数据分析领域，最热门的莫过于的Python和R语言，此前有一篇文章“ 别老扯什么的Hadoop了，你的数据根本不够大 ”指出：只有在超过5TB数据量的规模下，Hadoop的才是一个合理的技术选择这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过的Hadoop对大量文本进行分类，这次决定采用的Python来处理数据：
- 硬件环境
- CPU：3.5 GHz Intel Core i7
- 内存：32 GB HDDR 3 1600 MHz
- 硬盘：3 TB Fusion Drive
- 数据分析工具
- 的Python：2.7.6
- 熊猫：0.15.0
- IPython笔记本：2.0.0
源数据如下表所示：
| 表 | 尺寸 | 说明 | |
|---|---|---|---|
| ServiceLogs | 98,706,832行x 14列 | 8.77 GB | 交易日志数据，每个交易会话可以有多条交易 |
| ServiceCodes | 286行×8列 | 20 KB | 交易分类的字典表 |
数据读取
启动IPython notebook，加载pylab环境：
ipython notebook --pylab=inline大熊猫提供了IO工具可以将大文件分块读取，测试了一下性能，完整加载9800万条数据也只需要263秒左右，还是相当不错了。
-
import pandas as pd -
reader = pd.read_csv('data/servicelogs', iterator=True) -
try: -
df = reader.get_chunk(100000000) -
except StopIteration: -
print "Iteration is stopped."
| 1百万条 | 1千万条 | 1亿条 | |
|---|---|---|---|
| ServiceLogs | 1秒 | 17秒 | 263秒 |
使用不同分块大小来读取再 调用pandas.concat 连接数据帧，CHUNKSIZE设置在1000万条左右速度优化比较明显。
-
loop = True -
chunkSize = 100000 -
chunks = [] -
while loop: -
try: -
chunk = reader.get_chunk(chunkSize) -
chunks.append(chunk) -
except StopIteration: -
loop = False -
print "Iteration is stopped." -
df = pd.concat(chunks, ignore_index=True)
下面是统计数据，读取时间是数据读取时间，总时间是读取和Pandas进行concat操作的时间，根据数据总量来看，对5~50个DataFrame对象进行合并，性能表现比较好。
| 块大小 | 阅读时间 | 总时间 | 性能 |
|---|---|---|---|
| 100000 | 224.418173 | 261.358521 | |
| 200000 | 232.076794 | 256.674154 | |
| 百万 | 213.128481 | 234.934142 | √√ |
| 2000000 | 208.410618 | 230.006299 | √√√ |
| 5000000 | 209.460829 | 230.939319 | √√√ |
| 10,000,000 | 207.082081 | 228.135672 | √√√√ |
| 20000000 | 209.628596 | 230.775713 | √√√ |
| 50000000 | 222.910643 | 242.405967 | |
| 亿 | 263.574246 | 263.574246 |
如果使用Spark提供的Python Shell，同样编写Pandas加载数据，时间会短25秒左右，看来Spark对Python的内存使用都有优化。
数据清洗
大熊猫提供了 DataFrame.describe 方法查看数据摘要，包括数据查看（默认共输出首尾60行数据）和行列统计。由于源数据通常包含一些空值甚至空列，会影响数据分析的时间和效率，在预览了数据摘要后，需要对这些无效数据进行处理。
首先调用 DataFrame.isnull（） 方法查看数据表中哪些为空值，与它相反的方法是 DataFrame.notnull（） ，Pandas会将表中所有数据进行null计算，以真/假作为结果进行填充，如下图所示：
大熊猫的非空计算速度很快，9800万数据也只需要28.7秒。得到初步信息之后，可以对表中空列进行移除操作。尝试了按列名依次计算获取非空列，和 DataFrame.dropna（ ） 两种方式，时间分别为367.0秒和345.3秒，但检查时发现dropna（）之后所有的行都没有了，查了Pandas手册，原来不加参数的情况下，dropna（）会移除所有包含空值的行。如果只想移除全部为空值的列，需要加上轴和如何两个参数：
df.dropna(axis=1, how='all')共移除了14列中的6列，时间也只消耗了85.9秒。
接下来是处理剩余行中的空值，经过测试，在 DataFrame.replace（） 中使用空字符串，要比默认的空值的NaN节省一些空间;但对整个CSV文件来说，空列只是多存了一个“，”，所以移除的9800万x 6列也只省了了200M的空间。进一步的数据清洗还是在移除无用数据和合并上。
对数据列的丢弃，除无效值和需求规定之外，一些表自身的冗余列也需要在这个环节清理，比如说表中的流水号是某两个字段拼接，类型描述等，通过对这些数据的丢弃，新的数据文件大小为4.73GB，足足减少了4.04克！
数据处理
使用 DataFrame.dtypes 可以查看每列的数据类型，Pandas默认可以读出int和float64，其它的都处理为object，需要转换格式的一般为日期时间.DataFrame.astype（） 方法可对整个DataFrame或某一列进行数据格式转换，支持的Python和NumPy的的数据类型。
df['Name'] = df['Name'].astype(np.datetime64)对数据聚合，我测试了DataFrame.groupby和DataFrame.pivot_table以及pandas.merge，groupby 9800万行x 3列的时间为99秒，连接表为26秒，生成透视表的速度更快，仅需5秒。
-
df.groupby(['NO','TIME','SVID']).count() # 分组 -
fullData = pd.merge(df, trancodeData)[['NO','SVID','TIME','CLASS','TYPE']] # 连接 -
actions = fullData.pivot_table('SVID', columns='TYPE', aggfunc='count') # 透视表
根据透视表生成的交易/查询比例饼图：
将日志时间加入透视表并输出每天的交易/查询比例图：
-
total_actions = fullData.pivot_table('SVID', index='TIME', columns='TYPE', aggfunc='count') -
total_actions.plot(subplots=False, figsize=(18,6), kind='area')
除此之外，熊猫提供的数据帧查询统计功能速度表现也非常优秀，7秒以内就可以查询生成所有类型为交易的数据子表：
tranData = fullData[fullData['Type'] == 'Transaction']该子表的大小为[10250666 rows x 5 columns]。在此已经完成了数据处理的一些基本场景。实验结果足以说明，在非“> 5TB”数据的情况下，Python的表现已经能让擅长使用统计分析语言的数据分析师游刃有余。
http://www.justinablog.com/archives/1357
扫一扫
1383
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
