Task01 数据基础操作

最新推荐文章于 2021-12-02 23:48:45 发布

叶锦小兴

最新推荐文章于 2021-12-02 23:48:45 发布

阅读量943

点赞数

分类专栏：数据分析

本文链接：https://blog.csdn.net/qq_33253721/article/details/108063293

版权

数据分析专栏收录该内容

5 篇文章 1 订阅

订阅专栏

第一部分数据加载

1.1 载入数据

数据集来自kaggle上的一个竞赛链接.
以及项目需要使用的数据集链接.

任务一：导入numpy和pandas

import numpy as np
import pandas as pd

任务二：载入数据

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据

#使用相对路径
df = pd.read_csv('train.csv')
df.head(3)#查看前三行

#使用绝对路径
df = pd.read_csv('D:/Datawhale学习/八月组队学习/数据分析/train.csv')
df.head(3)

在这里插入图片描述
如果相对路径载入报错，尝试使用os.getcwd()查看当前工作目录。
pd.read_csv将表格型数据读取为DataFrame对象，pd.read_table()也有类似的功能，可以看看两者有何不同：

#尝试使用pd.read_table()
df = pd.read_table('train.csv')
df.head(3)

在这里插入图片描述
发现与pd.read_csv不同，pd.read_table()使用的默认分隔符是制表符，我们可以使用逗号分隔符：

#pd.read_table()默认分割符为制表符'\t'，将其转化为逗号分隔符看看
df = pd.read_table('train.csv', sep=',')
df.head(3)

在这里插入图片描述
更改后，结果相同。
思考：’.tsv’和’.csv’的不同
解答：TSV是用制表符（Tab,’\t’）作为字段值的分隔符；CSV是用半角逗号（’,’）作为字段值的分隔符。

任务三：每1000行为一个数据模块，逐块读取

#每一千行为一个数据模块，逐块读取
chunker = pd.read_csv('train.csv', chunksize=1000)

在处理很大的文件时，或找出大文件中的参数集以便于后续处理时，你可能只想读取文件的一小部分对文件进行迭代,这个时候就可以用到逐块读取，chunksize为每一块想读取的行数。

任务四：将表头改成中文，索引改为乘客ID

对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据：
PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口']
df = pd.read_csv('train.csv', names=names, index_col='乘客ID', header = 0)
df.head()#默认读取前5行

在这里插入图片描述
思考：将英文表头替换成中文的其他思路

1.2 初步观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等。

任务一：查看数据的基本信息

#查看数据基本信息
df.info()

在这里插入图片描述
这里可以看出总共有891行数据，“客舱”这一特征的缺失值较多。

任务二：观察表格前10行的数据和后15行的数据

#观察表格前10行和后15行的数据
df.head(10)

在这里插入图片描述

#观察后15行的数据
df.tail(15)

在这里插入图片描述

任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

#判断数据是否为空，为空的地方返回True，否则返回False
df.isnull().head()

在这里插入图片描述
思考：上述操作都是对于数据本身的观察，还可以从其他哪些方面来观察？

1.3 保存数据

#保存数据，将上述加载并作出改变的数据在工作目录下保存
df.to_csv('train_chinese.csv')

第二部分 pandas基础

2.1 知道你的数据叫什么

任务一：pandas中有两个数据类型DateFrame和Series，通过查找简单了解他们。然后自己写一个关于这两个数据类型的小例子🌰[开放题]

import numpy as np
import pandas as pd

sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
example_1

在这里插入图片描述

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)
example_2

在这里插入图片描述
example_1是Series对象，相当于数组，由索引和数组组成，如果查看dataframe的某一列，返回的就是series；example_2是Dataframe对象，可以看做一个表格，包含行表头和列表头。
上述两种数据类型在处理数据时都是很常见的，实际操作有些不同，Series能做的操作较少，可以查看索引、数值、检查是否为空以及简单的排序等；而Dataframe除了上述操作还能直接查看整个表格的信息等：

example_2.info()

在这里插入图片描述
series则不行：

example_1.info()

在这里插入图片描述
series的一些操作：

example_1.values

在这里插入图片描述

pd.isnull(example_1)

在这里插入图片描述

任务二：根据上节课的方法载入"train_chinese.csv"文件

#加载part01保存的文件
df = pd.read_csv('train_chinese.csv')
df.head(3)

在这里插入图片描述

任务三：查看DataFrame数据的每列的项

#查看数据每列的项
df.columns

在这里插入图片描述

任务四：查看"cabin"这列的所有项[有多种方法]

#方法一
df['客舱'].head()

#方法二
df.客舱.head()

在这里插入图片描述

任务五：加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

#加载文件“test_1.csv”，对比之前加载的文件，删除多余的列
test_1 = pd.read_csv('test_1.csv')
test_1.head(3)

在这里插入图片描述
发现多了一列特征为‘a’的数据，我们需要将其删除：

#方法一
del test_1['a']
test_1.head(3)

#方法二
test_1.drop('a', axis=1, inplace=True)#参数axis为1表示在1轴（行）上搜索名字为a的对象，然后删除对象a对应的列。inplace=True会修改原本数据
test_1.head()

在这里插入图片描述
这里需要注意的是，使用drop()方法时，如果设置参数inplace=True，会替换原本的数据，如果设置为False则只是隐藏不显示。

任务六：将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏，只观察其他几个列元素

#将['PassengerId','Name','Age','Ticket']这几个列元素隐藏，只观察其他几个列元素
test_1.drop(['PassengerId','Name','Age','Ticket'], axis=1).head(3)

在这里插入图片描述

2.2 筛选的逻辑

表格数据可以选出需要的信息，丢弃无用的信息。

任务一：我们以"年龄"为筛选条件，显示年龄在10岁以下的乘客信息。

#以“年龄”为筛选条件，显示年龄在10岁以下的乘客信息
df[df['年龄']>10].head()

在这里插入图片描述

任务二：以"年龄"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

#以"年龄"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage
midage = df[(df['年龄']>10)&(df['年龄']<50)]

上述即为pandas的条件筛选方式，以及使用了交并集操作。

任务三：将midage的数据中第100行的’仓位等级’和"'性别’的数据显示出来

#将midage的数据中第100行的'仓位等级'和"'性别'的数据显示出来
midage.loc[[100], ['仓位等级', '性别']]

在这里插入图片描述
这里虽然取得了数据，但是有一个隐患——使用dataframe读取对象后，索引可能是乱的，我们需要重置索引才能确保取得需要的数据：

midage = midage.reset_index(drop=True)
#对dataframe做处理后索引可能是乱的。 drop=True就是把原来的索引index列去掉,重置index。

再取一次数据：

midage.loc[[100], ['仓位等级', '性别']]

在这里插入图片描述

任务四：使用loc方法将midage的数据中第100，105，108行的’仓位等级’，'姓名’和’性别’的数据显示出来

#将midage的数据中第100，105，108行的'仓位等级'，'姓名'和'性别'的数据显示出来
midage.loc[[100,105,108],['仓位等级','姓名','性别']]

在这里插入图片描述
loc()方法可以按照给出的索引显示数据。

任务五：使用iloc方法将midage的数据中第100，105，108行的’仓位等级’，'姓名’和’性别’的数据显示出来

#使用iloc方法将midage的数据中第100，105，108行的'仓位等级'，'姓名'和'性别'的数据显示出来
midage.iloc[[100,105,108],[2,3,4]]#iloc是按照索引的位置来进行选取,使用iloc时方括号中只能使用数值

iloc()按照给出的位置显示数据，因此括号内只能使用数值。

第三部分探索性数据分析

3.1 开始之前，导入numpy、pandas包和数据

#加载所需的库
import numpy as np
import pandas as pd

#载入之前保存的train_chinese.csv数据，关于泰坦尼克号的任务，我们就使用这个数据
df = pd.read_csv('train_chinese.csv')

3.2 了解你的数据吗？

使用教材：《Python for Data Analysis》第五章.

任务一：利用Pandas对示例数据进行排序，要求升序

使用object.sort_index()方法。

#构建一个都为数字的DataFrame数据
frame = pd.DataFrame(np.arange(8).reshape((2, 4)),#创建一个DataFrame对象 生成一个二维数组（2*4）,第一列：0，1，2，3 第二列：4，5，6，7
                   index=[2,1],#DataFrame 对象的索引列
                   columns=['d', 'a', 'b', 'c'])#DataFrame 对象的索引行

frame

在这里插入图片描述

#下面将不同的排序方式做一个总结
#1.让行索引升序排序
frame.sort_index()

在这里插入图片描述

#2.让列索引升序排序
frame.sort_index(axis=1)

在这里插入图片描述

#3.让列索引降序排序
frame.sort_index(axis=1,ascending=False)

在这里插入图片描述

#4.让任选两列数据同时升序排序
frame.sort_values(by=['a','c'])

在这里插入图片描述

任务二：对泰坦尼克号数据（train_chinese.csv）按票价和年龄两列进行综合排序（降序排列），从数据中你能发现什么

#对泰坦尼克号数据（train_chinese.csv）按票价和年龄两列进行综合排序（降序排列），从这个数据中你可以分析出什么？
df.sort_values(by=['票价','年龄'], ascending=False).head(20)

在这里插入图片描述
票价前20的乘客中存活的有14人，这里可以猜测票价与存活有一定关系，开始发现数据之间的关系时，数据分析也就开始了。

利用Pandas进行算术计算，计算两个DataFrame数据相加结果

#利用Pandas进行算术计算，计算两个DataFrame数据相加结果
#构建两个都为数字的DataFrame数据
frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])
frame1_a

在这里插入图片描述

frame1_b

在这里插入图片描述

#将frame_a和frame_b进行相加
frame1_a + frame1_b
#索引和列为原来那两个DataFrame的并集,因为'b'和'e'列均不在两个DataFrame对象中，在结果中以缺省值呈现。行也是同样。

在这里插入图片描述
两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。

任务四：通过泰坦尼克号数据如何计算出在船上最大的家族有多少人？

#找出兄弟姐妹个数和父母子女个数之和最大的数就行，先让这两列相加返回一个DataFrame，然后用max函数求出最大值
max(df['兄弟姐妹个数'] + df['父母子女个数'])

任务五：学会使用Pandasdescribe()函数查看数据基本统计信息

#学会使用Pandas describe()函数查看数据基本统计信息
#构建一个有数字有空值的DataFrame数据
frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2

在这里插入图片描述

frame2.describe()
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''

在这里插入图片描述

任务六：分别看看泰坦尼克号数据集中票价、父母子女这列数据的基本统计数据，你能发现什么？

#分别看看泰坦尼克号数据集中 票价、父母子女 这列数据的基本统计数据，你能发现什么？
df['票价'].describe()

在这里插入图片描述
票价的标准差为49，说明票价间的波动还是挺大的，大部分人的票价都较低（甚至还有不用钱白嫖的）。

df['父母子女个数'].describe()

在这里插入图片描述
说明单身狗还是挺多的？

总结

大概了解了观察数据要看什么，了解了数据分析的一些操作。通过一些操作，比如对某几个特定数据进行升序降序、查看基本统计信息，思考数据间的关系。

叶锦小兴

关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
Task01 数据基础操作

第一部分数据加载1.1 载入数据数据集来自kaggle上的一个竞赛链接.以及项目需要使用的数据集链接.任务一：导入numpy和pandasimport numpy as npimport pandas as pd任务二：载入数据(1) 使用相对路径载入数据(2) 使用绝对路径载入数据#使用相对路径df = pd.read_csv('train.csv')df.head(3)#查看前三行#使用绝对路径df = pd.read_csv('D:/Datawhale学习/八月组
复制链接

扫一扫