pandas常用用法
详细内容请进入 pandas官网 查阅文献。
1. pd.read_csv()
常用parameters:
header : 一般默认为零。表示读进来的表格以第一行作为列名。其他值也是类似的。
index_col : 表示以什么作为行号。pandas在引入列表的时候默认会以0,1,2,3,4....作为行号。可以指定列表中的某一列作为行号。
usecols : 指定读进来的列是什么,以列表的形式给出,可以是列号,也可以是[0,1,2]这样的表示读进来0,1,2列。
names : 以列表形式给出,表示列号只显示出给定名称的列号,其他的隐藏。即你可以指定任一列的列号,可以是你自创的,也可以是列表里本来就有的。
squeeze : 表示如果传进来的表格只有一列,那么把它压缩成Serias的形式。默认值是False。
dtype : 指定列的数据形式。eg: dtype={'PassengerId':np.float64}
感觉比较常用的参数一般就这几个,其他的如果需要可以在官网上查找解释。
2. 常用表格信息描述函数
df.dtypes
可以把表格每一列数据的格式描述出来,eg:
A float64
B datetime64[ns]
C float32
D int32
E category
F object
dtype: object
df.index
把表格的行号列出,包括行号的格式。
df.columns
把表格的列号列出,包括列号的格式。
df.describe()
把每一列的均值,个数,方差,最大最小值列出。非常方便的函数。
A C D
count 4.0 4.0 4.0
mean 1.0 1.0 3.0
std 0.0 0.0 0.0
min 1.0 1.0 3.0
25% 1.0 1.0 3.0
50% 1.0 1.0 3.0
75% 1.0 1.0 3.0
max 1.0 1.0 3.0
df.info()
可以给出表格的许多信息,看下面的结果:
RangeIndex: 891 entries, 0 to 890
Data columns (total 12 columns):
PassengerId 891 non-null int64
Survived 891 non-null int64
Pclass 891 non-null int64
Name 891 non-null object
Sex 891 non-null object
Age 714 non-null float64
SibSp 891 non-null int64
Parch 891 non-null int64
Ticket 891 non-null object
Fare 891 non-null float64
Cabin 204 non-null object
Embarked 889 non-null object
dtypes: float64(2), int64(5), object(5)
memory usage: 83.6+ KB
3. 常用的datafram处理操作。
df[[' ',' ',...]]
''中间的为列的名字,直接列出选中的列
dfdf.A>50]
不好说直接上代码:
df[df['Age']>60][['Sex','Pclass','Age','Survived']]
>>>
Sex Pclass Age Survived
33 male 2 66.0 0
54 male 1 65.0 0
96 male 1 71.0 0
116 male 3 70.5 0
170 male 1 61.0 0
252 male 1 62.0 0
275 female 1 63.0 1
280 male 3 65.0 0
326 male 3 61.0 0
438 male 1 64.0 0
456 male 1 65.0 0
483 female 3 63.0 1
493 male 1 71.0 0
545 male 1 64.0 0
555 male 1 62.0 0
570 male 2 62.0 1
625 male 1 61.0 0
630 male 1 80.0 1
672 male 2 70.0 0
745 male 1 70.0 0
829 female 1 62.0 1
851 male 3 74.0 0
即是以某一列的值为条件进行筛选。
多个条件进行筛选。
for i in range(4):
print(i,len(df[ (df['Sex']=='male') & (df['Pclass']==i)]))
>>>
0 0
1 122
2 108
3 347
&符号表示与,条件有两个,len()表示长度。
df.dropna() :
把表格中有nan或者na的行去掉。
pramaters:axis=0,how='any'
还有其他参数但是并不常用。'any'表示只要行或者列出现了nan则把该行或者该列去掉。如果为'all'表示必须全是nan才去掉。
df.fillna(value) :
表示给nan值填充值。value=0表示给nan填充0值
df.isnull() :
返回一个列表如果有值为nan返回True,否则返回False.
A B C D E
2013-01-01 False False False False False
2013-01-02 False False False True False
2013-01-03 False False False False True
2013-01-04 False False False False False
2013-01-05 False False False False False
2013-01-06 False False False False False
## 可以通过选择某一列为Nan的情况下对其他数据进行查看
df[df.Age.isnull()].head(5)['Name']
>>>
5 Moran, Mr. James
17 Williams, Mr. Charles Eugene
19 Masselmani, Mrs. Fatima
26 Emir, Mr. Farred Chehab
28 O'Dwyer, Miss. Ellen "Nellie"
Name: Name, dtype: object
df.T :
转置,即列表的行与列互换。
df.loc[] :
表示按照标签来选择数据。
a.loc['one']则会默认表示选取行为'one'的行
a.loc[:,['a','b']表示选取所有的行以及columns为a,b的列;
a.loc[['one','two'],['a','b']]表示选取'one'和'two'这两行以及columns为a,b的列;
a.loc['one','a']与a.loc[['one'],['a']]作用是一样的,不过前者只显示对应的值,而后者会显示对应的行和列标签。
df.iloc[] :
表示按照位置进行选择。
a.iloc[[0,2],[1,2]]
表示选取0行1列和2行2列的数据。
df.values :
把一个dataframe类型转化为numpy的array形式。很简单
df.replace() :
简单粗暴,把列表里的某一个值替换为另一个值。
df.replace('male',0).head(3)['Sex']
>>>
0 0
1 female
2 female
Name: Sex, dtype: object
该函数还有一些其他参数:regrex,method等,详细可查阅官网,这里给出一些常用用法。
#选择某一列对不同的值进行不同的替换,采用字典嵌套的形式。
encode_setting = {'Embarked':{'S':1, 'C': 2, 'Q': 3, 'Unknown':0}}
df.replace(encode_setting).head(3)[['Embarked']]
>>>
Embarked
0 1.0
1 2.0
2 1.0
#对多个值进行替换
df.replace({'male':1,'female':0}).head(3)[['Sex']]
>>>
Sex
0 1
1 0
2 0
df.drop(axis,labels) :
表示扔掉某一行或者一列,axis指定行或者列,labels指定标签。labels可以用列表的方式来给定多个行或者列
value_counts() :
可以计算出每个取值在列表中出现的次数
df.groupby :
可以按照你所指定的列对其不同的值进行分组,很强大的功能,这里给出代码更好理解。
df.groupby(['Survived','Pclass']).sum()
## 按照Survived和Pclassd的取值,对其他的项进行相应的求和操作,不是数值型的不计数
df.groupby(['Survived','Pclass']).size()
## size表示按照Survived和Pclass的取值,进行分别计数。除了size(),还有mean(),max(),min(),std()等
>>>
Survived Pclass
0 1 80
2 97
3 372
1 1 136
2 87
3 119
dtype: int64
df.groupby(['Survived','Pclass']).size()[0][1]
## 这里返回的是一个类似矩阵的存在。[0]表示Survived=0,[1]表示Pclass=1,这里前后顺序和你给出列的顺序有关。
>>>
80
##如果给定的列不止一个,会有多重索引(Multiindex),这里可以这样操作来选取对应的值。
a=df.groupby(['Survived','Sex',]).std()
a.index
>>>
ultiIndex(levels=[[0, 1], ['female', 'male']],
labels=[[0, 0, 1, 1], [0, 1, 0, 1]],
names=['Survived', 'Sex'])
## 我们可以根据levels进行选取
a.xs([0,'female'],level=['Survived','Sex'])
>>>
PassengerId Pclass Age SibSp Parch Fare
Survived Sex
0 female 263.522063 0.450309 13.618591 1.814635 1.391442 24.821287
## 接下来就可以根据需求选择列得到数值,同时可以加上.values来将其变为np.array的形式。这里的索引有俩个即Survived和Sex,行名就是levels,所以也可以用loc选择行和列进行选取
df.isin() :
选出给定列中某些值的特定行
df[df['Sex'].isin(['male'])]