动手学数据分析task01

动手学数据分析

1 第一章：数据加载

1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 任务一：导入numpy和pandas

import numpy as np
import pandas as pd

1.1.2 任务二：载入数据

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据

path = open("E:/Program Files/datawhale学习/动手学数据分析/titanic/train.csv", 'r') 
df= pd.read_csv(path)
df.head(3)

1.1.3 任务三：每1000行为一个数据模块，逐块读取

chunker = pd.read_csv('E:/Program Files/datawhale学习/动手学数据分析/titanic/train.csv', chunksize=1000)
for piece in chunker : print(piece)

1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

# 索引改为乘客ID
df = pd.read_csv('E:/Program Files/datawhale学习/动手学数据分析/titanic/train.csv',names=['乘客ID','是否幸存','乘客等级','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

#直接修改
df = pd.read_csv('E:/Program Files/datawhale学习/动手学数据分析/titanic/train.csv')
df.columns = ['乘客ID','是否幸存','乘客等级','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口']
df.head()

1.2 初步观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 任务一：查看数据的基本信息

data.describe() # 描述性统计信息
data.index # 标签
data.index.values # 标签
data.values # 数据
data.to_numpy(): # 数据 (推荐)
data.head(n) # 前n个
data.tail(n) # 尾n个
data.memory_usage() # 占用内存(字节B)
data.name # 名字
data.dtype # 类型

df.info()

1.2.2 任务二：观察表格前10行的数据和后15行的数据

df.head(10)

df.tail(15)

1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

pd.isnull可以对数值型空值、字符串空值以及python的None进行判断

pd.isnull(df)

1.3 保存数据

1.3.1 任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

df.to_csv('train_chinese.csv')

1.4 知道你的数据叫什么

通过第一章使用pandas读取的csv文件后的数据，我们知道读取出来的数据类型为DataFrame类型

1.4.1 pandas中有两种数据类型，分别是DataFrame和Series数据类型，这两种数据类型有什么区别

1.Series和数组numpy.array类似
Series是有索引的，如果未指定索引，则会以数字自动生成，可以看成是一个定长的有序字典

s1 = pd.Series([1,2,3,4,5,6])
print(s1)

s2 = pd.Series([1,2,3,4,5,6],index=['a','b','c','d','e','f'])
s2

2.DataFrame相当于有表格，有行表头和列表头

data = {'name':['jack','roob','koma','niko'],
		'age':[16,24,32,23],
		'ins':['game','reading','sleeping','game']}
frame = pd.DataFrame(data)
frame

1.4.2 任务二：根据上节课的方法载入"train.csv"文件

df = pd.read_csv('E:/Program Files/datawhale学习/动手学数据分析/titanic/train.csv')
df.head(3)

1.4.3 任务三：查看DataFrame数据的每列的名称

df.columns

1.4.4任务四：查看"Cabin"这列的所有值

df.Cabin

1.4.5 任务五：加载文件"test_1.csv"，然后对比"train.csv"，看看有哪些多出的列，然后将多出的列删除

经过我们的观察发现一个测试集test_1.csv有一列是多余的，我们需要将这个多余的列删去

test_1 = pd.read_csv('E:/Program Files/datawhale学习/动手学数据分析/titanic/test_1.csv')
test_1.head(3)

# 删除多余的列
del test_1['a']
test_1.head(3)

1.4.6 任务六： 将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏，只观察其他几个列元素