DataWhale：Task01 Pandas基础
学习内容分为以下两个部分：
- 理论部分
- 掌握常见文件格式的读写操作
- 理解并熟悉 Series 和 DataFrame 的重要属性和重要方法
- 掌握各类排序（索引排序和值排序、单级排序和多级排序）
- 练习部分
- 《权利的游戏》剧本数据集分析
- 科比投篮数据集分析
-----------------------------------------进入正题-----------------------------------------
（一）两个库
- NumPy
NumPy是一个科学计算基础库其中提供了许多向量和矩阵操作，能让用户轻松完成最优化、线性代数、积分、插值、特殊函数、傅里叶变换、信号处理和图像处理、常微分方程求解以及其他科学与工程中常用的计算，不仅方便易用而且效率更高。 - pandas
它是基于 Numpy 库的，主要包含两种数据结构：Series和DataFrame。
导入库的指令：
import pandas as pd
import numpy as np
（二）文件读取和写入
1. 读取
（a）csv格式
调用Pandas库的read_csv()函数读取csv文件：
df = pd.read_csv('data/table.csv')
df.head()
（b）txt格式
调用pandas库的read_table()函数读取txt文件：
df_txt = pd.read_table('data/table.txt') #可设置sep分隔符参数
df_txt
（c）xls或xlsx格式
调用pandas库的read_excel()函数（如果没有安装xlrd包需要先安装包）：
df_excel = pd.read_excel('data/table.xlsx')
df_excel.head()
2. 写入
（a）csv格式
将一个DataFrame的数据写入csv文件：
df.to_csv('meal_order.csv',encoding='utf_8')
#df.to_csv('meal_order.csv', index=False) #保存时除去行索引
（b）xls或xlsx格式
#需要安装openpyxl
df.to_excel('data/new_table2.xlsx', sheet_name='Sheet1')
（三）基本数据结构
这里主要介绍Series和DataFrame。Series是一维的数据结构，而DataFrame是二维的、表格型的数据结构，下面详细介绍以下这两种数据结构。
1. Series
（a）创建一个Series
对于一个Series，其中最常用的属性为值（values），索引（index），名字（name），类型（dtype）。
s = pd.Series(np.random.randn(5),index=['a','b','c','d','e'],name='这是一个Series',dtype='float64')
s
这样就建立了一个下图样式Series：
（b）访问Series属性
访问s的数据：
s.values
array([ 0.30299458, 0.57343774, 0.53608608, 0.5132085 , -1.26357851])
访问s的name:
s.name
'这是一个Series'
访问s的索引：
s.index
'这是一个Series'
访问s的数据类型：
s.dtype
dtype('float64')
（c）取出某个元素
通过索引访问元素：
s['a']
0.30299457920628364
（d）调用方法
s.mean()
0.1324296778903958
当然，Series还有相当多的方法可以调用，如sum()、max()、min()…这里不一一举例。
2. DataFrame
(a) 创建一个DataFrame
df = pd.DataFrame({'col1':list('abcde'),'col2':range(5,10),'col3':[1.3,2.5,3.6,4.6,5.8]},
index=list('一二三四五'))
df
上述代码建立了如下数据结构：
其中col1、col2、col3都是数据，index为行索引。
（b）从DataFrame取出一列为Series
df['col1']
上面的方式是通过列索引获取数据，结果如下：
一 a
二 b
三 c
四 d
五 e
Name: col1, dtype: object
取出的数据类型为Series：
type(df)
pandas.core.frame.DataFrame
type(df['col1'])
pandas.core.series.Series
（c）修改行或列名
示例：修改行索引’一’为’one’，修改列索引’col1’为’new_col1’：
df.rename(index={'一':'one'},columns={'col1':'new_col1'})
修改后的数据结构：
(d)调用属性和方法
访问DataFrame的行索引：
df.index
Index(['一', '二', '三', '四', '五'], dtype='object')
访问DataFrame的列索引：
df.columns
Index(['col1', 'col2', 'col3'], dtype='object')
访问DataFrame的数据：
array([['a', 5, 1.3],
['b', 6, 2.5],
['c', 7, 3.6],
['d', 8, 4.6],
['e', 9, 5.8]], dtype=object)
获取DataFrame二维数据形状：
df.shape
(5, 3)
df.mean()
col2 7.00
col3 3.56
dtype: float64
（e）索引对齐特性
这是Pandas中非常强大的特性，不理解这一特性有时就会造成一些麻烦！
df1 = pd.DataFrame({'A':[1,2,3]},index=[1,2,3])
df2 = pd.DataFrame({'A':[1,2,3]},index=[3,1,2])
df1-df2 #由于索引对齐，因此结果不是0
（f）列的删除与添加
删除：可以使用drop函数 / del / pop。
df.drop(index='五',columns='col1')
df['col1']=[1,2,3,4,5]
del df['col1']
df
pop方法直接在原来的DataFrame上操作，且返回被删除的列：
df['col1']=[1,2,3,4,5]
df.pop('col1')
一 1
二 2
三 3
四 4
五 5
Name: col1, dtype: int64
df
可以直接增加新列，也可以使用assign方法。
直接：
df1['B']=list('abc')
df1
df1.assign(C=pd.Series(list('def')))
注意：这里出现NaN是因为索引对齐特性，'def’的索引分别对应[0,1,2]，因此C列索引3为NaN。
但assign方法不会对原DataFrame做修改。
df1
（g）根据类型选择列
df.select_dtypes(include=['number']).head()
df.select_dtypes(include=['float']).head()
（h）将Series转为DataFrame
s = df.mean()
s.name='to_DataFrame'
s
col2 7.00
col3 3.56
Name: to_DataFrame, dtype: float64
s.to_frame()
转置：
s.to_frame().T
(四) 常用基本函数
使用以下数据集示例：
df = pd.read_csv('data/table.csv')
1. head和tail
常用于看读取的数据是否准确。
df.head()
df.tail()
从上面的结果看出，head和tail函数默认情况下都只返回5行数据，这是因为它们的内置函数规定了返回5行数据。
当然也可以指定参数n返回n行数据，如：
df.head(3)
2. unique和nunique
nunique函数显示有多少个唯一值：
df['Physics'].nunique()
7
unique函数用于显示所有的唯一值：
df['Physics'].unique()
array(['A+', 'B+', 'B-', 'A-', 'B', 'A', 'C'], dtype=object)
3. count和value_counts
count返回非缺省值元素个数：
df['Physics'].count()
35
value_counts返回每个元素有多少个
df['Physics'].value_counts()
B+ 9
B 8
B- 6
A 4
A+ 3
A- 3
C 2
Name: Physics, dtype: int64
4. describe和info
info函数返回有哪些列、有多少非缺失值、每列的类型
df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 35 entries, 0 to 34
Data columns (total 9 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 School 35 non-null object
1 Class 35 non-null object
2 ID 35 non-null int64
3 Gender 35 non-null object
4 Address 35 non-null object
5 Height 35 non-null int64
6 Weight 35 non-null int64
7 Math 35 non-null float64
8 Physics 35 non-null object
dtypes: float64(1), int64(3), object(5)
memory usage: 2.6+ KB
describe默认统计数值型数据的各个统计量
df.describe()
非数值型也可以应用describe函数
df['Physics'].describe()
5. idxmax和nlargest
idxmax函数返回最大值，在某些情况下特别适用，idxmin功能类似。
df['Math'].idxmax() #返回最大值的索引
5
nlargest函数返回前几个大的元素值，nsmallest功能类似
df['Math'].nlargest(3)
5 97.0
28 95.5
11 87.7
Name: Math, dtype: float64
6. clip和replace
clip和replace是两类替换函数
clip是对超过或者低于某些值的数进行截断
df['Math'].head()
0 34.0
1 32.5
2 87.2
3 80.4
4 84.8
Name: Math, dtype: float64
df['Math'].clip(33,80).head() #大于80的就令其为80；小于33的就令其为33
0 34.0
1 33.0
2 80.0
3 80.0
4 80.0
Name: Math, dtype: float64
df['Math'].mad()
16.924244897959188
replace是对某些值进行替换
df['Address'].head()
0 street_1
1 street_2
2 street_2
3 street_2
4 street_4
Name: Address, dtype: object
df['Address'].replace(['street_1','street_2'],['one','two']).head()
0 one
1 two
2 two
3 two
4 street_4
Name: Address, dtype: object
通过字典，可以直接在表中修改
df.replace({'Address':{'street_1':'one','street_2':'two'}}).head()
7. apply函数
对于Series，它可以迭代每一列的值操作：
df['Math'].apply(lambda x:str(x)+'!').head() #可以使用lambda表达式，也可以使用函数
0 34.0!
1 32.5!
2 87.2!
3 80.4!
4 84.8!
Name: Math, dtype: object
对于DataFrame，它可以迭代每一个列操作：
df.apply(lambda x:x.apply(lambda x:str(x)+'!')).head()
（五）排序
1.索引排序
df.set_index('Math').head() #设置索引‘Math’
df.set_index('Math').sort_index().head() #默认升序,降序 ascending=False
2. 按值排序
df.sort_values(by='Class').head()
多个值排序，先对第一层排，在第一层相同的情况下对第二层排序
df.sort_values(by=['Address','Height']).head()
（六）问题与练习
1. 问题
【问题一】Series和DataFrame有哪些常见属性和方法？
Series常见属性：
data, index, dtype, name,copy, fastpath
| 函数 | 说明 |
|---|---|
| reindex() | 对原索引和新索引进行匹配 |
| sort_index() | 按索引排序 |
| sort_values() | 按值排序 |
| to_frame() | Series转为DataFrame |
DataFrame常见属性：
data, index, columns, dtype, copy
常用方法：
| 函数 | 说明 |
|---|---|
| rename() | 修改行或列名 |
| reindex() | 对原索引和新索引进行匹配 |
| drop() | 删除行或列 |
| pop() | 直接在原DataFrame上操作，并返回删除的列 |
| assign() | 增加新列，但不会对原DataFrame修改 |
| select_dtypes() | 根据类型选列 |
| sort_index() | 按索引排序 |
| sort_values() | 按值排序 |
| info() | 显示数据框的简明摘要，包括每列非空值的数量 |
| desctibe() | 一次性输出多个统计指标，如最大值，最小值等 |
| head() | 返回前五行数据 |
| tail() | 返回后五行数据 |
| clip() | 超过或者低于某些值的数进行截断 |
| replace() | 替换某个值 |
| nunique() | 显示有多少个唯一值 |
| unique() | 显示所有的唯一值 |
| count() | 返回非缺失值元素个数 |
| value_count() | 返回每个元素有多少个 |
| idxmax | 返回最大值索引 |
| idxmin | 返回最小值索引 |
| nlatgest | 返回前n个大元素值 |
| nsmallest | 返回前n个小得元素值 |
【问题二】 value_counts会统计缺失值吗？
不会
【问题三】 与idxmax和nlargest功能相反的是哪两组函数？
idxmin() nsmallest()
【问题四】 在常用函数一节中，由于一些函数的功能比较简单，因此没有列入，现在将它们列在下面，请分别说明它们的用途并尝试使用。
sum/mean/median/mad/min/max/abs/std/var/quantile/cummax/cumsum/cumprod
以如下数据结果进行示例：
【问题五】 df.mean(axis=1)是什么意思？它与df.mean()的结果一样吗？第一问提到的函数也有axis参数吗？怎么使用？
df.mean(axis=1),我们将得到按行计算的均值，结果是一样的。
在drop()中也有axis参数，但drop(name,axis=0)删掉的不是一行，是一列。
**- axis=0 表示沿着每一列或行标签\索引值向下执行方法
- axis=1 表示沿着每一行或者列标签模向执行对应的方法**
2.练习
【练习一】 现有一份关于美剧《权力的游戏》剧本的数据集，请解决以下问题：
（a）在所有的数据中，一共出现了多少人物？
（b）以单元格计数（即简单把一个单元格视作一句），谁说了最多的话？
（c）以单词计数，谁说了最多的单词？
（a）
import pandas as pd
df = pd.read_csv('F:\Pandas学习\joyful-pandas-master\joyful-pandas\data\Game_of_Thrones_Script.csv')
df.head()
df['Name'].nunique()
（b）
df['Name'].value_counts().index[0]
（c）
添加Words列用以计数每行Sentence的单词个数：
df1 = df.assign(Words=df['Sentence'].apply(lambda x:len(x.split())))
df1.head()
按照Name进行分组后对Words求和，降序排列。
df1.groupby(['Name'])['Words'].sum().sort_values(ascending=False).index[0]
【练习二】现有一份关于科比的投篮数据集，请解决如下问题：
（a）哪种action_type和combined_shot_type的组合是最多的？
（b）在所有被记录的game_id中，遭遇到最多的opponent是哪个支？
（a）
import pandas as pd
df = pd.read_csv('F:\Pandas学习\joyful-pandas-master\joyful-pandas\data\Kobe_data.csv',index_col='shot_id')
df.head()
pd.Series(list(zip(df['action_type'],df['combined_shot_type']))).value_counts().index[0]
（b）
pd.Series(list(list(zip(*(pd.Series(list(zip(df['game_id'],df['opponent'])))
.unique()).tolist()))[1])).value_counts().index[0]
5323
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
