Datawhale数据分析第一章

这门课程得主要目的是通过真实的数据，以实战的方式了解数据分析的流程和熟悉数据分析python的基本操作。知道了课程的目的之后，我们接下来我们要正式的开始数据分析的实战教学，完成kaggle上泰坦尼克的任务，

1. 第一章：数据载入及初步观察

1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 任务一：导入numpy和pandas

import numpy as np
import pandas as pd

1.1.2 任务二：载入数据

(1) 使用相对路径载入数据
(2) 使用绝对路径载入数据

#相对路径、
train_df = pd.read_csv('train.csv')

#绝对路径, 可以用os.getcwd()获取当前的绝对路径
train_df = pd.read_csv('/home/jupyter/datawhale-data-analysis/train.csv')

1.1.3 任务三：每1000行为一个数据模块，逐块读取

train_df = pd.read_csv('train.csv',chunksize=1000)

输出的格式不是dataframe，需要进一步处理成dataframe。以后有时间在细看怎么做。

逐块读取在数据量很大的情况下，内存不够一次性读取文件全部内容时很有用。

1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

train_df.rename(columns={'PassengerId':'乘客ID','Sex':'性别','Age':'年龄','SibSp':'堂兄弟/妹个数','Parch':'父母与小孩个数',\
                    'Survived':'是否幸存', 'Ticket': '船票信息','Fare': '票价','Cabin':'客舱',\
                    'Embarked':'登船港口','Pclass':'仓位等级', 'Name':'姓名'}, inplace = True)

1.2 初步观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 任务一：查看数据的基本信息

train_df.describe()

观察特征的类型和非Null的数量可以用info() 函数

train_df,info()

1.2.2 任务二：观察表格前10行的数据和后15行的数据

# 前10行
train_df.head(10)

# 后15行
train_df.tail(15)

1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

train_df.isnull()

1.3 保存数据

1.3.1 任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

train_df.to_csv("train_chinese.csv")

【总结】数据的加载以及入门，接下来就要接触数据本身的运算，我们将主要掌握numpy和pandas在工作和项目场景的运用。

这几天因为手头还有其他要做的数据分析任务，时间很紧张，剩余的部分会在有空的时候补充。