Pandas之DataFrame操作

转载 2015年09月11日 11:22:17

Pandas是Python下一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。 1. 基本使用:创建DataFrame. DataFrame是一张二维的表,大家可以把它想象成一张Excel表单或者Sql表。Excel 2007及其以后的版本的最大行数是1048576,最大列数是16384,超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本,无法放置在一个工作表中”。Pandas处理上千万的数据是易如反掌的sh事情,同时随后我们也将看到它比SQL有更强的表达能力,可以做很多复杂的操作,要写的code也更少。 说了一大堆它的好处,要实际感触还得动手码代码。首要的任务就是创建一个DataFrame,它有几种创建方式:

  • 列表,序列(pandas.Series), numpy.ndarray的字典
  • 二维numpy.ndarray
  • 别的DataFrame
  • 结构化的记录(structured arrays)

其中,我最喜欢的是通过二维ndarray创建DataFrame,因为代码敲得最少:

1
2
3
4
5
6
7
8
import pandas as pd
import numpy as np
df=pd.DataFrame(np.random.randn(3,4))
df
0123
00.236175-0.394792-0.1718660.304012
10.6519260.9890460.160389 0.482936
2-1.0398240.401105-0.492714-1.220438

当然你还可以参考我的这篇文章从mysql数据库或者csv文件中载入数据到dataframe。
dataframe中index用来标识行,column标识列,shape表示维度。


1

2

3

4

5

6
# 获得行索引信息
df.index
# 获得列索引信息
df.columns
# 获得df的size
df.shape
# 获得df的行数
df.shape[0]
# 获得df的列数
df.shape[1]
# 获得df中的值
df.values

通过describe方法,我们可以对df中的数据有个大概的了解:

1
2
3
4
5
6
7
8
9
10
df.describe()
0123
count3.0000003.0000003.000000 3.000000
mean-0.0505740.331786-0.168064-0.144496
std0.8815740.6945180.326568 0.936077
min-1.039824-0.394792-0.492714-1.220438
25%-0.4018240.003156-0.332290-0.458213
50%0.2361750.401105-0.1718660.304012
75%0.4440510.695076-0.0057390.393474
max0.6519260.9890460.160389 0.482936

2. 数据select, del, update。

按照列名select:

1
2
3
4
5
df[0]
 
00.236175
10.651926
2-1.039824

按照行数select:

1
df[:3]#选取前3行

按照索引select:

1
2
3
4
5
6
df.loc[0]
 
00.236175
1-0.394792
2-0.171866
30.304012

按照行数和列数select:

1
2
3
4
5
df.iloc[3]#选取第3行
df.iloc[2:4]#选取第2到第3行
df.iloc[0,1]#选取第0行1列的元素
dat.iloc[:2, :3]#选取第0行到第1行,第0列到第2列区域内的元素
df1.iloc[[1,3,5],[1,3]]#选取第1,3,5行,第1,3列区域内的元素

删除某列:

1
2
3
4
5
6
del df[0]
df
123
0-0.394792-0.1718660.304012
10.9890460.1603890.482936
20.401105-0.492714-1.220438

删除某行:

1
2
3
4
5
df.drop(0)
 
123
10.9890460.1603890.482936
20.401105-0.492714-1.220438

3.运算。

基本运算:

1
2
3
4
5
6
df[4]=df[1]+df[2]
 
1234
0-0.394792-0.1718660.304012-0.566659
10.9890460.1603890.482936 1.149435
20.401105-0.492714-1.220438-0.091609

map运算,和python中的map有些类似:

1
2
3
4
df[4].map(int)
00
11
20

apply运算:

1
2
3
4
5
6
df.apply(sum)
 
10.995359
2-0.504192
3-0.433489
40.491167

4. Group by 操作。
pandas中的group by 操作是我的最爱,不用把数据导入excel或者mysql就可以进行灵活的group by 操作,简化了分析过程。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
df[0]=['A','A','B']
df
 
1234 0
0-0.394792-0.1718660.304012-0.566659A
10.9890460.1603890.482936 1.149435 A
20.401105-0.492714-1.220438-0.091609B
 
g=df.groupby([0])
 
g.size()
 
A2
B1
 
g.sum()
 
1234
0
A0.594254-0.0114780.7869480.582776
B0.401105-0.492714-1.220438-0.091609

5. 导出到csv文件
dataframe可以使用to_csv方法方便地导出到csv文件中,如果数据中含有中文,一般encoding指定为”utf-8″,否则导出时程序会因为不能识别相应的字符串而抛出异常,index指定为False表示不用导出dataframe的index数据。

1
2
df.to_csv(file_path, encoding='utf-8', index=False)
df.to_csv(file_path, index=False)

本文出自 杂七杂八,转载时请注明出处及相应链接。

本文永久链接: http://www.dcharm.com/?p=13


python中pandas库中DataFrame对行和列的操作使用方法

用pandas中的DataFrame时选取行或列:import numpy as np import pandas as pd from pandas import Sereis, DataFrame...
  • xiaodongxiexie
  • xiaodongxiexie
  • 2016年11月10日 01:15
  • 230927

python DataFrame获取行数、列数、索引及第几行第几列的值

1、 df=DataFrame([{‘A’:’11’,’B’:’12’},{‘A’:’111’,’B’:’121’},{‘A’:’1111’,’B’:’1211’}])print df.column...
  • u012189747
  • u012189747
  • 2017年10月11日 14:34
  • 7090

【Python学习系列十五】pandas库DataFrame行列操作使用方法

参考:http://pandas.pydata.org/pandas-docs/stable/api.html#dataframe data['w'] #选择表格中的'w'列,使用类字典属性,返回...
  • fjssharpsword
  • fjssharpsword
  • 2017年06月13日 16:55
  • 3239

dataframe常见操作

原网址 http://blog.sina.com.cn/s/blog_6bb07f83010152z0.html   在使用R做数据挖掘时,最常用的数据结构莫过于dataframe了,下面列出几种...
  • sunnyxidian
  • sunnyxidian
  • 2013年05月06日 17:18
  • 37739

pandas.dataframe中根据条件获取元素所在的位置(索引)

在dataframe中根据一定的条件,得到符合要求的某行元素所在的位置。 代码如下所示: df = pd.DataFrame({'BoolCol': [1, 2, 3, 3, 4],'attr': [...
  • xwd18280820053
  • xwd18280820053
  • 2017年05月21日 21:28
  • 17532

python的dataframe删除原来索引,重新建立从0开始的索引

def test4(): obj3 = Series(['blue', 'purple', 'yellow'], index=[0, 2, 4]) print obj3 obj...
  • Yan456jie
  • Yan456jie
  • 2016年08月02日 16:47
  • 17433

python pandas 对series和dataframe的重置索引reindex

python pandas 对series和dataframe的重置索引reindex
  • LY_ysys629
  • LY_ysys629
  • 2017年02月12日 21:16
  • 14611

pandas.DataFrame 的操作简单经验(创建,索引,增添,删除)

pandas.DataFrame 的操作简单经验(创建,索引,增添,删除) 在网上搜过许多关于pandas.DataFrame的操作说明,都是一些基础的操作,但是这些操作组合起来还是比较费时间去...
  • haruhi330
  • haruhi330
  • 2017年03月08日 15:04
  • 3188

python dataframe的索引

df.loc[index,columns] df.iloc[i,j] 数值 df.ix[ ] 数值和字符都可以的混合索引
  • use_my_heart
  • use_my_heart
  • 2016年08月22日 11:06
  • 289

pandas小记:pandas索引和选择

http://blog.csdn.net/pipisorry/article/details/18012125检索/选择dataframe列选择和Series一样,在DataFrame中的一列可以通过...
  • pipisorry
  • pipisorry
  • 2014年01月08日 21:49
  • 45398
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Pandas之DataFrame操作
举报原因:
原因补充:

(最多只允许输入30个字)