pandas中drop用法_Pandas常用用法

pandas常用用法

详细内容请进入 pandas官网 查阅文献。

1. pd.read_csv()

常用parameters:

header : 一般默认为零。表示读进来的表格以第一行作为列名。其他值也是类似的。

index_col : 表示以什么作为行号。pandas在引入列表的时候默认会以0,1,2,3,4....作为行号。可以指定列表中的某一列作为行号。

usecols : 指定读进来的列是什么，以列表的形式给出，可以是列号，也可以是[0,1,2]这样的表示读进来0,1,2列。

names : 以列表形式给出，表示列号只显示出给定名称的列号，其他的隐藏。即你可以指定任一列的列号，可以是你自创的，也可以是列表里本来就有的。

squeeze : 表示如果传进来的表格只有一列，那么把它压缩成Serias的形式。默认值是False。

dtype : 指定列的数据形式。eg: dtype={'PassengerId':np.float64}

感觉比较常用的参数一般就这几个，其他的如果需要可以在官网上查找解释。

2. 常用表格信息描述函数

df.dtypes

可以把表格每一列数据的格式描述出来，eg：

A float64

B datetime64[ns]

C float32

D int32

E category

F object

dtype: object

df.index

把表格的行号列出，包括行号的格式。

df.columns

把表格的列号列出，包括列号的格式。

df.describe()

把每一列的均值，个数，方差，最大最小值列出。非常方便的函数。

A C D

count 4.0 4.0 4.0

mean 1.0 1.0 3.0

std 0.0 0.0 0.0

min 1.0 1.0 3.0

25% 1.0 1.0 3.0

50% 1.0 1.0 3.0

75% 1.0 1.0 3.0

max 1.0 1.0 3.0

df.info()

可以给出表格的许多信息，看下面的结果：

RangeIndex: 891 entries, 0 to 890

Data columns (total 12 columns):

PassengerId 891 non-null int64

Survived 891 non-null int64

Pclass 891 non-null int64

Name 891 non-null object

Sex 891 non-null object

Age 714 non-null float64

SibSp 891 non-null int64

Parch 891 non-null int64

Ticket 891 non-null object

Fare 891 non-null float64

Cabin 204 non-null object

Embarked 889 non-null object

dtypes: float64(2), int64(5), object(5)

memory usage: 83.6+ KB

3. 常用的datafram处理操作。

df[[' ',' ',...]]

''中间的为列的名字，直接列出选中的列

dfdf.A>50]

不好说直接上代码：

df[df['Age']>60][['Sex','Pclass','Age','Survived']]

>>>

Sex Pclass Age Survived

33 male 2 66.0 0

54 male 1 65.0 0

96 male 1 71.0 0

116 male 3 70.5 0

170 male 1 61.0 0

252 male 1 62.0 0

275 female 1 63.0 1

280 male 3 65.0 0

326 male 3 61.0 0

438 male 1 64.0 0

456 male 1 65.0 0

483 female 3 63.0 1

493 male 1 71.0 0

545 male 1 64.0 0

555 male 1 62.0 0

570 male 2 62.0 1

625 male 1 61.0 0

630 male 1 80.0 1

672 male 2 70.0 0

745 male 1 70.0 0

829 female 1 62.0 1

851 male 3 74.0 0

即是以某一列的值为条件进行筛选。

多个条件进行筛选。

for i in range(4):

print(i,len(df[ (df['Sex']=='male') & (df['Pclass']==i)]))

>>>

0 0

1 122

2 108

3 347

&符号表示与，条件有两个，len()表示长度。

df.dropna() :

把表格中有nan或者na的行去掉。

pramaters:axis=0,how='any'

还有其他参数但是并不常用。'any'表示只要行或者列出现了nan则把该行或者该列去掉。如果为'all'表示必须全是nan才去掉。

df.fillna(value) :

表示给nan值填充值。value=0表示给nan填充0值

df.isnull() :

返回一个列表如果有值为nan返回True,否则返回False.

A B C D E

2013-01-01 False False False False False

2013-01-02 False False False True False

2013-01-03 False False False False True

2013-01-04 False False False False False

2013-01-05 False False False False False

2013-01-06 False False False False False

## 可以通过选择某一列为Nan的情况下对其他数据进行查看

df[df.Age.isnull()].head(5)['Name']

>>>

5 Moran, Mr. James

17 Williams, Mr. Charles Eugene

19 Masselmani, Mrs. Fatima

26 Emir, Mr. Farred Chehab

28 O'Dwyer, Miss. Ellen "Nellie"

Name: Name, dtype: object

df.T :

转置，即列表的行与列互换。

df.loc[] :

表示按照标签来选择数据。

a.loc['one']则会默认表示选取行为'one'的行

a.loc[:,['a','b']表示选取所有的行以及columns为a,b的列；

a.loc[['one','two'],['a','b']]表示选取'one'和'two'这两行以及columns为a,b的列；

a.loc['one','a']与a.loc[['one'],['a']]作用是一样的，不过前者只显示对应的值，而后者会显示对应的行和列标签。

df.iloc[] :

表示按照位置进行选择。

a.iloc[[0,2],[1,2]]

表示选取0行1列和2行2列的数据。

df.values :

把一个dataframe类型转化为numpy的array形式。很简单

df.replace() :

简单粗暴，把列表里的某一个值替换为另一个值。

df.replace('male',0).head(3)['Sex']

>>>

0 0

1 female

2 female

Name: Sex, dtype: object

该函数还有一些其他参数：regrex,method等，详细可查阅官网，这里给出一些常用用法。

#选择某一列对不同的值进行不同的替换，采用字典嵌套的形式。

encode_setting = {'Embarked':{'S':1, 'C': 2, 'Q': 3, 'Unknown':0}}

df.replace(encode_setting).head(3)[['Embarked']]

>>>

Embarked

0 1.0

1 2.0

2 1.0

#对多个值进行替换

df.replace({'male':1,'female':0}).head(3)[['Sex']]

>>>

Sex

0 1

1 0

2 0

df.drop(axis,labels) :

表示扔掉某一行或者一列，axis指定行或者列，labels指定标签。labels可以用列表的方式来给定多个行或者列

value_counts() :

可以计算出每个取值在列表中出现的次数

df.groupby :

可以按照你所指定的列对其不同的值进行分组，很强大的功能，这里给出代码更好理解。

df.groupby(['Survived','Pclass']).sum()

## 按照Survived和Pclassd的取值，对其他的项进行相应的求和操作，不是数值型的不计数

df.groupby(['Survived','Pclass']).size()

## size表示按照Survived和Pclass的取值，进行分别计数。除了size(),还有mean(),max(),min(),std()等

>>>

Survived Pclass

0 1 80

2 97

3 372

1 1 136

2 87

3 119

dtype: int64

df.groupby(['Survived','Pclass']).size()[0][1]

## 这里返回的是一个类似矩阵的存在。[0]表示Survived=0,[1]表示Pclass=1,这里前后顺序和你给出列的顺序有关。

>>>

80

##如果给定的列不止一个，会有多重索引(Multiindex)，这里可以这样操作来选取对应的值。

a=df.groupby(['Survived','Sex',]).std()

a.index

>>>

ultiIndex(levels=[[0, 1], ['female', 'male']],

labels=[[0, 0, 1, 1], [0, 1, 0, 1]],

names=['Survived', 'Sex'])

## 我们可以根据levels进行选取

a.xs([0,'female'],level=['Survived','Sex'])

>>>

PassengerId Pclass Age SibSp Parch Fare

Survived Sex

0 female 263.522063 0.450309 13.618591 1.814635 1.391442 24.821287

## 接下来就可以根据需求选择列得到数值，同时可以加上.values来将其变为np.array的形式。这里的索引有俩个即Survived和Sex,行名就是levels，所以也可以用loc选择行和列进行选取

df.isin() :

选出给定列中某些值的特定行

df[df['Sex'].isin(['male'])]