【DataWhale】之动手学数据分析（一）

任务一：载入数据

import numpy as np
import pandas as pd

此处使用绝对路径加载数据

df=pd.read_csv('D:\\anacode\\shuju//train.csv')
df.head()

遇到的问题：使用python3时，调用pandas的read_csv()方法时，默认使用C engine作为parser engine 而当文件名中包含中文时，就会报错，所以将engine为python就可以解决问题了

##每1000行为一个数据模块，逐行读取
chunker=pd.read_csv('D:\\anacode\\shuju\\train.csv',chunksize=1000)

任务二：将表头改为中文，索引改为乘客ID

df=pd.read_csv('D:\\anacode\\shuju\\train.csv',names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

任务三：查看数据基本信息

df.info()

任务四 观察表格前10行的数据和后15行的数据

df.head(10)

df.tail(10)

任务五：判断数据是否为空，为空的地方返回true,其余地方返回false

df.isnull().head()

任务六：保存数据

df.to_csv(‘D:\anacode\shuju\train_chinese.csv’)
1
思考：对于数据的分析我们还可以从以下方面来观察：平均数，众数，最大值，最小值等等
Pandas基础

import numpy as np
import pandas as pd

1
2
3
任务一：了解pandas中的两个数据类型DataFrame,Series
例子：

sdata={‘Ohio’:35000,‘Texas’:71000,‘Oregon’:16000,‘Utah’:5000}
example_1=pd.Series(sdata)
example_1
1
2
3
在这里插入图片描述思考：
两者区别：
series，只是一个一维数据结构，它由index和value组成。
dataframe，是一个二维结构，除了拥有index和value之外，还拥有column。
两者联系：
dataframe由多个series组成，无论是行还是列，单独拆分出来都是一个series。

data={‘state’:[‘Ohio’,‘Ohio’,‘Ohio’,‘Nevada’,‘Nevada’,‘Nevada’],‘year’:[2000,2001,2002,2003,2002,2001],‘pop’:[1.5,1.7,3.6,2.4,2.9,3.2]}
example_2=pd.DataFrame(data)
example_2
1
2
3
在这里插入图片描述任务二：查看所导入的数据的每列的项

df.columns
1
在这里插入图片描述
任务三：查看客舱这列的所有项

df[‘客舱’].head(3)
1
df.客舱.head(3)
1
在这里插入图片描述任务四：加载文件train_1.csv，然后对比train.csv看看有哪些多出去的列，然后删除多余列

train_1=pd.read_csv(‘D:\anacode\shuju\train_1.csv’)
train_1.head(3)
1
2
在这里插入图片描述

del train_1[‘a’]
train_1.head(3)
1
2
在这里插入图片描述
任务五：将PassageId,Name,Age,Ticket这几个列元素隐藏，只观察其他几个列元素.

df.drop([‘PassengerId’,‘Name’,‘Age’,‘Ticket’],axis=1).head(3)
1
2
在这里插入图片描述
筛选逻辑：
任务一：以Age为筛选条件，显示年龄在10岁以下的乘客信息

df[df[‘Age’]<10].head(3)
1
在这里插入图片描述
以Age为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage=df[(df[‘Age’]>10)&(df[‘Age’]<50)]
midage.head(3)
1
2
在这里插入图片描述将midage的数据中第100行的’Pclass’和’Sex’的数据显示出来

midage=midage.reset_index(drop=True)
midage.head(3)
1
2
在这里插入图片描述探索性数据分析：
任务一：利用pandas对示例数据进行排序，要求升序

import numpy as np
import pandas as pd
text=pd.read_csv(‘D:\anacode\shuju\train_chinese.csv’,encoding=‘gbk’)
text.head()
1
2
3
4
在这里插入图片描述

frame=pd.DataFrame(np.arange(8).reshape((2,4)),index=[‘2’,‘1’],columns=[‘d’,‘a’,‘b’,‘c’])
frame
1
2
在这里插入图片描述

frame.sort_values(by=‘c’,ascending=False)
1
在这里插入图片描述

#让行索引升序排序
frame.sort_index()
1
2
在这里插入图片描述

#让列索引升序排序
frame.sort_index(axis=1)
1
2
在这里插入图片描述

#让任意两列数据同时降序排序
frame.sort_values(by=[‘a’,‘c’])
1
2
在这里插入图片描述

text.sort_values(by=[‘票价’,‘年龄’],ascending=False).head(3)
1
在这里插入图片描述

利用pandas进行算术计算，计算两个DataFrame数据相加的结果

frame1_a=pd.DataFrame(np.arange(9.).reshape(3,3),columns=[‘a’,‘b’,‘c’],index=[‘one’,‘two’,‘three’])
frame1_b=pd.DataFrame(np.arange(12.).reshape(4,3),columns=[‘a’,‘e’,‘c’],index=[‘first’,‘one’,‘two’,‘second’])
frame1_a
1
2
3
在这里插入图片描述

frame1_b
1
在这里插入图片描述

##将frame1_a和frame1_b相加
frame1_a+frame1_b
1
2
在这里插入图片描述

##通过泰坦尼克号数据计算出在船上最大家族有多少人
max=(text[‘兄弟姐妹个数’]+text[‘父母子女个数’])
1
2
##学会用pandas describe()函数查看数据基本统计信息
frame2=pd.DataFrame([[1.4,np.nan],[7.1,-4.5],[np.nan,np.nan],[0.75,-1.3]],index=[‘a’,‘b’,‘c’,‘d’],columns=[‘one’,‘two’])
frame2

1
2
3
4
在这里插入图片描述

frame2.describe()
1
在这里插入图片描述分别看看泰坦尼克号数据集中票价，父母子女，这列数据的基本统计数据

text[‘票价’].describe()
1
在这里插入图片描述

text[‘父母子女个数’].describe()
1
在这里插入图片描述