“第二课堂”AI实践（2）pandas入门

1.准备工作

建一个工作目录workspace文件夹，并将所需资料下载：

https://internal-api-drive-stream.feishu.cn/space/api/box/stream/download/all/LDgZbvwWIoXpDvxNHXAcgtNjnmd/?mount_node_token=OCqHdqAOiobg6axxCo4cpcavn7e&mount_point=docx_file

复制到文件夹中，在此文件夹的地址栏输入cmd并打开jupyter

在命令提示符窗口下载numpy和pandas（pip install numpy）(pip install pandas)

快捷键：shift+enter运行

2.数据载入和初步观察

2.1载入数据

2.1.1任务一：导入numpy和pandas

import numpy as np

import pandas as pd

2.1.2.任务二：用相对路径和绝对路径载入数据

jupyter有交互式，将变量定义以后再单独打一次变量就会将数据进行展示

例如：相对路径载入数据：df = pd.read_csv('train.csv')或者df = pd.read_csv('./train.csv')

        绝对路径载入数据：df = pd.read_csv(r'C:\Users\22628\Desktop\workspace\train.csv')

2.1.3.任务三：每一千行为一个数据模块，逐块读取

chunker = pd.read_csv('./train.csv',chunksize=1000)

for i in chunker:

        print(i)

2.1.4.任务四：将表头改成中文，索引改为乘客ID（对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据）

例如：df = pd.read_csv('train.csv',names=['乘客ID','是否幸存','舱位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID' ,header=0)

注：改names的时候是最后一个对最后一个

2.2.初步观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

2.2.1任务一：查看数据的基本信息

df.info()

2.2.2任务二：观察表格前10行的数据和后15行的数据

df.head(10)

df.tail(15)

2.2.3任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

df.isnull()

2.3保存数据

2.3.1任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

df.to_csv('train_chinese.csv')

3.pandas基础

3.1 知道你的数据叫什么

3.1.1任务一：pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子🌰[开放题]

sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
example_1

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
        'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
example_2

3.1.2 任务二：根据上节课的方法载入"train.csv"文件

df = pd.read_csv('train.csv')
df.head(3)

3.1.3任务三：查看DataFrame数据的每列的名称

df.columns

3.1.4任务四：查看"Cabin"这列的所有值 [有多种方法]

第一种：df['Cabin'].head(3)

第二种：df.Name.head(3)

3.1.5任务五：加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

test1 = pd.read_csv('test_1.csv')
test1.head(3)

del test1['a']
test1.head(3)

3.1.6任务六：将['PassengerId','Name','Age','Ticket']这几个列元素隐藏，只观察其他几个列元素

df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3)
（如果是列则需要特殊指令，是行则不用
删除和隐藏的区别：隐藏后输出df还是原来没隐藏的）

3.2逻辑的筛选

3.2.1任务一： 我们以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

df[df['Age']<10].head(3)

3.2.2任务二： 以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage = df[(df['Age']>10) & (df['Age']<50)]
midage.head(3)

3.2.3任务三：将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage.loc[[100],['Pclass','Sex']]

3.2.4任务四：使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.loc[[100,105,108],['Pclass','Name','Sex']]

3.2.5任务五：使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.iloc[[100,105,108],[2,3,4]]
（2,3,4,是Pclass,Name,Sex的索引）

4.探索性数据分析：以泰坦尼克号数据为例

#加载所需的库
import pandas as pd
import numpy as np

#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
text = pd.read_csv('train_chinese.csv')
text

4.1了解你的数据吗？

4.1.1任务一：利用Pandas对示例数据进行排序，要求升序

（具体请看《利用Python进行数据分析》第五章 排序和排名 部分

自己构建一个都为数字的DataFrame数据）
frame = pd.DataFrame(np.arange(8).reshape((2, 4)), 
                     index=['2', '1'], 
                     columns=['d', 'a', 'b', 'c'])
frame

（【代码解析】

pd.DataFrame() ：创建一个DataFrame对象

np.arange(8).reshape((2, 4)) : 生成一个二维数组（2*4）,第一列：0，1，2，3 第二列：4，5，6，7

index=['2, 1] ：DataFrame 对象的索引列

columns=['d', 'a', 'b', 'c'] ：DataFrame 对象的索引行）

（ 大多数时候我们都是想根据列的值来排序,所以，将你构建的DataFrame中的数据根据某一列，升序排列）
frame.sort_values(by='c',ascending=True)

可以看到sort_values这个函数中by参数指向要排列的列，ascending参数指向排序的方式（升序还是降序）

【总结】下面将不同的排序方式做一个小总结

（让行索引升序排序）：
frame.sort_index()

（让列索引升序排序）：
frame.sort_index(axis=1)

（让列索引降序排序）：
frame.sort_index(axis=1,ascending=False)

（让任选两列数据同时降序排序）：
frame.sort_values(by=['a','c'],ascending=False)

4.1.2 任务二：对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列），从数据中你能发现什么

（在开始我们已经导入了train_chinese.csv数据，而且前面我们也学习了导入数据过程，根据上面学习，我们直接对目标列进行排序即可）
（head(20) : 读取前20条数据）
text.sort_values(by=['票价','年龄'],ascending=False)

【思考】排序后，如果我们仅仅关注年龄和票价两列。根据常识我知道发现票价越高的应该客舱越好，所以我们会明显看出，票价前20的乘客中存活的有14人，这是相当高的一个比例，那么我们后面是不是可以进一步分析一下票价和存活之间的关系，年龄和存活之间的关系呢？当你开始发现数据之间的关系了，数据分析就开始了。

4.1.3任务三：利用Pandas进行算术计算，计算两个DataFrame数据相加结果

例子：

frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])
frame1_a

frame1_b

（将frame_a和frame_b进行相加）：
frame1_a + frame1_b

【提醒】两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。<br>
当然，DataFrame还有很多算术运算，如减法，除法等，有兴趣的同学可以看《利用Python进行数据分析》第五章 算术运算与数据对齐 部分，多在网络上查找相关学习资料。

4.1.4任务四：通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

（还是用之前导入的chinese_train.csv如果我们想看看在船上，最大的家族有多少人（‘兄弟姐妹个数’+‘父母子女个数’），我们该怎么做呢？）：
max(text['兄弟姐妹个数'] + text['父母子女个数'])

4.1.5任务五：学会使用Pandas describe()函数查看数据基本统计信息

例子：
frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2

调用 describe 函数，观察frame2的数据基本信息：
（count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值）

frame2.describe()

4.1.6任务六：分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据，你能发现什么？

（看看泰坦尼克号数据集中 票价 这列数据的基本统计数据）
text['票价'].describe()

【思考】从上面数据我们可以看出， 一共有891个票价数据， 平均值约为：32.20， 标准差约为49.69，说明票价波动特别大， 25%的人的票价是低于7.91的，50%的人的票价低于14.45，75%的人的票价低于31.00， 票价最大值约为512.33，最小值为0。

（通过上面的例子，我们再看看泰坦尼克号数据集中 父母子女个数 这列数据的基本统计数据）
text['父母子女个数'].describe()