Pandas 公益学习 打卡第一天

一、首先准备

1.导入pandas与numpy包

import pandas as pd
import numpy as np

2.查看版本

pd.__version__
'1.0.3'

二、文件读取与导入

1、读取

（a）csv格式

df = pd.read_csv('data/table.csv')
df.head()

（b）txt格式

df_txt = pd.read_table('data/table.txt') #可设置sep分隔符参数
df_txt

（c）xls或xlsx格式

#需要安装xlrd包
df_excel = pd.read_excel('data/table.xlsx')
df_excel.head()

2、写入

（a）csv格式

df.to_csv('data/new_table.csv')
#df.to_csv('data/new_table.csv', index=False) #保存时除去行索引

（b）xls或xlsx格式

#需要安装openpyxl
df.to_excel('data/new_table2.xlsx', sheet_name='Sheet1')

三、基本数据结构

1.Series

（a）创建一个Series
对于一个Series，其中最常用的属性为值（values），索引（index），名字（name），类型（dtype）

s = pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')

（b）访问Series属性

（c）取出某一个元素

s['a']
0.30299457920628364

（d）调用方法

s.mean()
0.1324296778903958

当然Series还可以调用多种方法

2.DataFrame

（a）创建一个DataFrame

df = pd.DataFrame({'col1':list('abcde'),'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]},
                 index=list('一二三四五'))
df

（b）从DataFrame取出一列为Series

df['col1']

type(df)
pandas.core.frame.DataFrame

type(df['col1'])
pandas.core.series.Series

（c）修改行或列名

df.rename(index={'一':'one'},columns={'col1':'new_col1'})

（d）调用属性和方法

（e）索引对齐特性

df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])

df1-df2 #由于索引对齐，因此结果不是0
（f）列的删除与添加
删除：drop函数或del或pop
pop方法直接在原来的DataFrame上操作，且返回被删除的列，与python中的pop函数类似

df['col1']=[1,2,3,4,5]
df.pop('col1')

可以直接增加新的列，也可以使用assign方法

df1['B']=list('abc')

df1.assign(C=pd.Series(list('def')))``

但assign方法不会对原DataFrame做修改
g）根据类型选择列

df.select_dtypes(include=['number']).head()

（h）将Series转换为DataFrame

s = df.mean()
s.name='to_DataFrame'
s

s.to_frame()

使用T符号可以转置，将行与列交换

.to_frame().T

四、常用基本函数

df = pd.read_csv('data/table.csv')

1. head和tail

分别为前五行和倒数五行

df.head()
df.tail()

可以指定n参数显示多少行

df.head(3)

2. unique和nunique

nunique显示有多少个唯一值
unique显示所有的唯一值

df['Physics'].nunique()
7
df['Physics'].unique()
array(['A+', 'B+', 'B-', 'A-', 'B', 'A', 'C'], dtype=object)

3. count和value_counts

count返回非缺失值元素个数

df['Physics'].count()

value_counts返回每个元素有多少个

df['Physics'].value_counts()
B+    9
B     8
B-    6
A     4
A+    3
A-    3
C     2
Name: Physics, dtype: int64

4. describe和info

info函数返回有哪些列、有多少非缺失值、每列的类型

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35 entries, 0 to 34
Data columns (total 9 columns):
 #   Column   Non-Null Count  Dtype  
---  ------   --------------  -----  
 0   School   35 non-null     object 
 1   Class    35 non-null     object 
 2   ID       35 non-null     int64  
 3   Gender   35 non-null     object 
 4   Address  35 non-null     object 
 5   Height   35 non-null     int64  
 6   Weight   35 non-null     int64  
 7   Math     35 non-null     float64
 8   Physics  35 non-null     object 
dtypes: float64(1), int64(3), object(5)
memory usage: 2.6+ KB

describe默认统计数值型数据的各个统计量

可以自行选择分位数

df.describe(percentiles=[.05, .25, .75, .95])

对于非数值型也可以用describe函数

df['Physics'].describe()
count     35
unique     7
top       B+
freq       9
Name: Physics, dtype: object

5. idxmax和nlargest

idxmax函数返回最大值，在某些情况下特别适用，idxmin功能类似

df['Math'].idxmax()
5

nlargest函数返回前几个大的元素值，nsmallest功能类似

df['Math'].nlargest(3)
5     97.0
28    95.5
11    87.7
Name: Math, dtype: float64

6. clip和replace

clip是对超过或者低于某些值的数进行截断

replace是对某些值进行替换

通过字典，可以直接在表中修改

df.replace({'Address':{'street_1':'one','street_2':'two'}}).head()

7. apply函数

对于Series，它可以迭代每一列的值操作：

df['Math'].apply(lambda x:str(x)+'!').head() #可以使用lambda表达式，也可以使用函数
0    34.0!
1    32.5!
2    87.2!
3    80.4!
4    84.8!
Name: Math, dtype: object

对于DataFrame，它可以迭代每一个列操作：

df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head() #这是一个稍显复杂的例子，有利于理解apply的功能

五、排序

1. 索引排序

df.set_index('Math').head() #set_index函数可以设置索引

df.set_index('Math').sort_index().head()可以设置ascending参数，默认为升序，True

2、值排序

df.sort_values(by='Class').head()

多个值排序，即先对第一层排，在第一层相同的情况下对第二层排序

df.sort_values(by=['Address','Height']).head()

六、问题与练习

1、问题

【问题一】 Series和DataFrame有哪些常见属性和方法？见目录三
【问题二】 value_counts会统计缺失值吗？会
【问题三】 与idxmax和nlargest功能相反的是哪两组函数？
idxmin与nsmallest
【问题四】 在常用函数一节中，由于一些函数的功能比较简单，因此没有列入，现在将它们列在下面，请分别说明它们的用途并尝试使用。¶
sum/mean/median/mad/min/max/abs/std/var/quantile/cummax/cumsum/cumprod
【问题五】 df.mean(axis=1)是什么意思？它与df.mean()的结果一样吗？第一问提到的函数也有axis参数吗？怎么使用？
axis=1’行’，默认’列’。因此结果不同

2、练习

【练习一】 现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题：
（a）在所有的数据中，一共出现了多少人物？
（b）以单元格计数（即简单把一个单元格视作一句），谁说了最多的话？¶
（c）以单词计数，谁说了最多的单词？

pd.read_csv('data/Game_of_Thrones_Script.csv').head()

【练习二】现有一份关于科比的投篮数据集，请解决如下问题：
（a）哪种action_type和combined_shot_type的组合是最多的？
（b）在所有被记录的game_id中，遭遇到最多的opponent是一个支？

pd.read_csv('data/Kobe_data.csv',index_col='shot_id').head()
#index_col的作用是将某一列作为行索引