Task01 数据加载及探索性数据分析

最新推荐文章于 2022-03-14 17:49:45 发布

Echo_nanana

最新推荐文章于 2022-03-14 17:49:45 发布

阅读量380

点赞数

本文链接：https://blog.csdn.net/weixin_43560929/article/details/117933580

版权

本文介绍了如何使用Pandas加载和初步观察泰坦尼克号数据，包括绝对路径和相对路径加载数据，数据模块化读取，更改表头和索引，以及数据基本信息的查看。此外，还讲解了Pandas的基础知识，如DataFrame和Series，以及数据筛选、删除列、选取特定数据的方法。最后，进行了探索性数据分析，包括数据排序、算术计算和统计信息的分析，揭示了票价和年龄与生存率的关系。

摘要由CSDN通过智能技术生成

Task01以泰坦尼克号数据为例，学习数据的加载及初步观察、pandas基础以及探索性数据分析。

1 数据加载及初步观察

1.1 载入数据

数据载入有两种方式，分别为：以绝对路径载入和以相对路径载入。
绝对路径：以根目录为起始点某一文件的路径。
相对路径：以某一个文件夹或者文件为参照点来看，其他文件夹或者文件的路径。
以绝对路径和相对路径载入数据的python如下所示。

import pandas as pd

#以绝对路径载入数据
data_abs=pd.read_csv(r'E:\Jupyter\hands-on-data-analysis-master\第一单元项目集合\train.csv')
data_abs.head()

#以相对路径载入数据
data_rel=pd.read_csv('./train.csv')
data_rel.head()

两种载入途径的结果如下所示：
在这里插入图片描述
思考：pd.read_csv()和pd.read_table()的不同。
pd.read_csv()是从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为逗号。
pd.read_table()是从文件、URL、文件型对象中加载带分隔符的数据，默认分隔符为制表符(’\t’)。
所以两者所默认的分隔符不同，当我们想要他们效果一样时，可以在pd.read_table()中加入sep=’,’，使其分隔符为逗号。

1.2 读取数据模块

逐块读取：当我们处理很大的文件时，我们可能只想读取其中的一小部分或者逐块对文件进行迭代，这时就可以使用逐块读取对文件进行处理，它将使用到pd.read_csv()中参数chunksize。

#每1000行为一个数据模块，逐块读取
data_chunker=pd.read_csv('./train.csv',chunksize=1000)

其输出结果为：
<pandas.io.parsers.TextFileReader at 0x2487d246c50>
它返回的是一个TextParser对象，我们可以根据chunksize对文件进行逐块迭代。使用for循环将其打印出来。

for piece in data_chunker:
	print(piece)

部分结果如下所示：

在这里插入图片描述

1.3 将表头改为中文，索引改为’乘客ID’

#表头改为中文
data_train=data_abs
data_train.columns=['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口']
#索引改为‘乘客ID’
data_train.set_index(['乘客ID'],inplace=True)
data_train.head()

结果如下：

在这里插入图片描述

1.4 初步观察

1.4.1 查看数据基本信息

python中有许多函数可以用来观察数据的基本信息，接下来将展示常用的几个函数。

#shape函数观察数据有几行几列
data_train.shape

返回结果：(891, 11)

说明数据集共有891行，11列。

#columns函数观察数据的列
data_train.columns

返回结果：
在这里插入图片描述

#index函数观察数据的行
data_train.index

返回结果：
在这里插入图片描述

#head函数和tail函数分别用来观察数据的前、后5行
data_train.head()
data_train.tail()

返回结果：

在这里插入图片描述

#describe()函数统计了数据的数目、均值、标准差、最大值、最小值和四分位数
data_train.describe()

返回结果：

在这里插入图片描述

#info()函数统计了每个变量的非缺失值数据和变量的类型
data_train.info()

返回结果：

在这里插入图片描述

1.4.2 查看缺失值

data_train.isnull().head()

返回结果：

在这里插入图片描述

python中.count()函数可以统计变量中非空值的个数。

1.4.3 保存数据

data_train.to_csv("train_chinese.csv") 
#中文乱码改编码方式：encoding='GBK' 或者 encoding = ‘utf-8’

2 Pandas基础

2.1 了解DataFrame和Serious

pandas中有两个数据类型Series和DataFrame。
Serious是一种类似于一维数组的对象，它由一组数据以及一组与之相关的数据标签（即索引）组成。Serious的字符串表现形式为：索引在左边，值在右边。我们可以通过Serious的values和index属性获取其数组表示形式和索引对象。
DataFrame是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔值等）。DataFrame既有行索引也有列索引，它可以被看做由Serious组成的字典（共用同一个索引）。DataFrame中的数据是以一个或多个二维块存放的。
以下为两种数据类型的例子：

data={'apple':35,'pear':25,'banana':100}
example1=pd.Series(data)
example1
example2=pd.DataFrame(data,index=['price'])
example2

在这里插入图片描述

2.2 查看‘Cabin’列的所有值

df_train=pd.read_csv('train.csv')
df_train
#方法1
df_train['Cabin']
#方法2
df_train.Cabin

在这里插入图片描述

2.3 删除列

DataFrame中删除列的方法有del和.drop()两种

#.drop()
df_test_1.drop(columns=['Unnamed: 0','a'],inplace=True)
df_test_1

.drop()的特点是可以同时删除多列，且不加inplace=True可以就地修改对象，不会返回新的对象；使用inplace=True，则数据直接从原始数据框中被删除。

#del
del df_test_1['Unnamed: 0']
del df_test_1['a']
df_test_1

del的特点是一次只能删除一列，且是直接将数据从原始数据框中删除。
两种删除的操作的结果如图：

在这里插入图片描述

2.4 筛选

2.4.1以特定条件筛选

#以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage
midage=df_test_1[(df_test_1['Age']>10) & (df_test_1['Age']<50)]
midage

返回结果：
在这里插入图片描述

2.4.2 用loc和iloc进行选取

在DataFrame中选取数据时，我们可以使用loc或者iloc的方式。loc是使用轴标签来选取数据，iloc是整数索引。

#将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来
midage=midage.reset_index(drop=True) 
#loc方法
midage.loc[[99,104,107],['Pclass','Name','Sex']]
#iloc方法
midage.iloc[[99,104,107],[2,3,4]]

选取结果：

在这里插入图片描述

其中，需要注意的是，要用reset_index对midage重新排序，由于midage是从原始数据中筛选出来的，所以它的索引并不是连续的，我们需要对其重新排序。

3 探索性数据分析

3.1 对数据进行排序

python中使用sort对数据进行排序，其中sort_index()是对索引进行排序，默认为对行索引进行升序排序，可以通过参数axis、ascending改变索引的对象和方式；sort_values()是对数值进行排序。

#创建数据集
data=pd.DataFrame(np.random.randn(24).reshape((4,6)),index=[2,1,4,3],columns=['a','c','f','d','e','b'])
data

在这里插入图片描述

#让行索引升序排序
data.sort_index()

在这里插入图片描述

#让列索引升序排序
data.sort_index(axis=1)

在这里插入图片描述

#让列索引降序排序
data.sort_index(axis=1,ascending=False)

在这里插入图片描述

#让任选两列数据同时降序排序
data.sort_values(by=['a','b'],ascending=False)

在这里插入图片描述

3.2 对泰坦尼克号数据进行排序

对泰坦尼克号数据按票价进行排序（降序排列）

train_chinese.sort_values(by=['票价'],ascending=False).head(10)

在这里插入图片描述

可以从结果看出，票价最高的前十位乘客中，幸存率达70%，可能存在票价越高客舱越好的情况。

对泰坦尼克号数据按年龄进行升序排序

train_chinese.sort_values(by=['年龄']).head(10)

在这里插入图片描述

可以从结果看出，年龄最小的十个小孩中，有90%的存活率。同时，笔者也对年龄进行降序排序后的结果进行观察，年龄最大的十个人中，仅有10%的存活率。所以，可能存在对小孩先行救援的情况，而年纪大的人们由于体力不支等原因无法存活。

3.3 pandas进行算术计算

构建两个数据集

frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])
frame1_a
frame1_b

在这里插入图片描述

将两个数据集进行相加

frame1_a+frame1_b

在这里插入图片描述

可以从相加的结果看到，DataFrame在相加的时候，仅将同时存在的行和列相加，而有一个数据框不存在则该位置为空值。

3.4 计算最大家族

train_chinese['家族人数']=train_chinese['堂兄弟/妹个数']+train_chinese['父母与小孩个数']
max(train_chinese['家族人数'])

返回值为10。

3.5 观察泰坦尼克号数据的基本信息

上述内容中已介绍过使用describe()函数来观察数据的基本信息，接下来，我们将使用describe()函数来观察泰坦尼克号的数据。

#票价
train_chinese['票价'].describe()

在这里插入图片描述

从票价的信息中可以得到，票价的均值为32.20；标准差为49.69，标准差较大，说明票价的差别较大；最便宜的票是免费的，最贵的票价为512.33；75%的票价小于31，说明昂贵的票价是较少数的。

#父母与小孩个数
train_chinese['父母与小孩个数'].describe()

在这里插入图片描述

从父母与小孩个数可以看出，均值为0.38，标准差为0.81，最大值为6，且至少75%的人没有父母与小孩。说明该船上的人大部分是独身一人的。

Echo_nanana

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
3
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫