Pandas学习笔记—基础

1. 文件读取和写入

1.1 读取

csv格式

df = pd.read_csv('data/table.csv')

txt格式

df_txt = pd.read_table('data/table.txt')

xls或xlsx格式

df_excel = pd.read_excel('data/table.xlsx')

1.2 写入

csv格式

df.to_csv('data/new_table.csv')

xls或xlsx格式

df.to_excel('data/new_table2.xlsx', sheet_name='Sheet1')

2. 基本数据结构

2.1 Series

创建

s = pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')

访问属性

s.name # 名字
s.index # 索引
s.values # 值
s.dtype # 类型

取元素值

s['a']

调用方法

s.mean()

2.2 DataFrame

创建

df = pd.DataFrame({'col1':list('abcde'),'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]},
                 index=list('一二三四五'))

取元素值

df['col1']

修改行或列名

df.rename(index={'一':'one'},columns={'col1':'new_col1'})

调用属性和方法

df.index # 索引
df.columns # 列名
df.values # 值
df.shape # 形状
df.mean() # 每列均值

索引对齐特性

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])
df1-df2 # 由于索引对齐，因此结果不是0

列的删除

df.drop(index='五',columns='col1') # 法一
del df['col1'] # 法二
df.pop('col1') # 法三

列的添加

df1['B']=list('abc') # 法一
df1.assign(C=pd.Series(list('0def'))) # 法二,但assign方法不会对原DataFrame做修改

根据类型选择列

df.select_dtypes(include=['number']).head() 
df.select_dtypes(include=['float']).head()

将Series转换为DataFrame

s = df.mean()
s.name='to_DataFrame'
s.to_frame()

转置

s.to_frame().T

3. 常用基本函数

3.1 head和tail

df = pd.read_csv('data/table.csv')
df.head()
df.tail()

指定n参数显示多少行

df.head(3)
df.tail(3)

3.2 unique和nunique

unique显示所有的唯一值

df['Physics'].unique()

nunique显示唯一值总数

df['Physics'].nunique()

3.3 count和value_counts

count返回非缺失值元素总数

df['Physics'].count()

value_counts返回每个元素详细值

df['Physics'].value_counts()

3.4 describe和info

describe默认统计数值型数据的各个统计量

df.describe()

可以自行选择分位数

df.describe(percentiles=[.05, .25, .75, .95])

对于非数值型也可以用describe函数

df['Physics'].describe()

info函数返回有哪些列、有多少非缺失值、每列的类型

df.info()

3.5 idxmax和nlargest

idxmax函数返回最大值索引

df['Math'].idxmax()

nlargest函数返回前几个大的元素值

df['Math'].nlargest(3)

3.6 clip和replace

clip是对超过或者低于某些值的数进行截断

df['Math'].head()
df['Math'].clip(33,80).head()

replace是对某些值进行替换

df['Address'].head()
df['Address'].replace(['street_1','street_2'],['one','two']).head()

通过字典，可以直接在表中修改

df.replace({'Address':{'street_1':'one','street_2':'two'}}).head()

3.7 apply函数

对于Series，它可以迭代每一列的值操作

df['Math'].apply(lambda x:str(x)+'!').head()

对于DataFrame，它可以迭代每一个列操作

df.apply(lambda y:y.apply(lambda x:str(x)+'!')).head()

4. 排序

4.1 索引排序

df.set_index('Math').head()
df.set_index('Math').sort_index().head() #可以设置ascending参数，默认为升序，True

4.2 值排序

df.sort_values('Class').head()

多值排序

df.sort_values(['Address','Height']).head()

5. 问题与练习

5.1 问题

1. Series和DataFrame有哪些常见属性和方法？

属性：name（名字），索引（index），类型（dtype），值（values）等等
方法：均值（mean），修改列名（rename），删除（drop，pop，del），添加（assign）等等

2. value_counts会统计缺失值吗？

不会

3. 与idxmax和nlargest功能相反的是哪两组函数？

idxmin()和nsmallest()

4. 在常用函数一节中，由于一些函数的功能比较简单，因此没有列入，现在将它们列在下面，请分别说明它们的用途并尝试使用。sum/mean/median/mad/min/max/abs/std/var/quantile/cummax/cumsum/cumprod

sum：求和。
mean：均值。
median：中位数
mad：均值差的绝对值
min：最小值
max：最大值
abs：绝对值
std：标准差
var：方差
quantile：分位数
cummax：到目前为止的最大值
cumsum：累加和
cumprod：累计积

5. df.mean(axis=1)是什么意思？它与df.mean()的结果一样吗？第一问提到的函数也有axis参数吗？怎么使用？

不一样，df.mean(axis=1)表示对每一行求均值，而df.mean()表示对每一列求均值。

5.2 练习

【练习一】 现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题：

（a）在所有的数据中，一共出现了多少人物？

（b）以单元格计数（即简单把一个单元格视作一句），谁说了最多的话？

（c）以单词计数，谁说了最多的单词？

【练习二】现有一份关于科比的投篮数据集，请解决如下问题：

（a）哪种action_type和combined_shot_type的组合是最多的？

（b）在所有被记录的game_id中，遭遇到最多的opponent是一个支？

参考文章: Pandas教程.