第一章 第一节 数据载入

复习:这门课程得主要目的是通过真实的数据，以实战的方式了解数据分析的流程和熟悉数据分析python的基本操作。知道了课程的目的之后，我们接下来我们要正式的开始数据分析的实战教学，完成kaggle上泰坦尼克的任务，实战数据分析全流程。
这里有两份资料：
教材《Python for Data Analysis》和 baidu.com &
google.com（善用搜索引擎）

1 第一章：数据载入及初步观察

1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 任务一：导入numpy和pandas

import numpy as np
import pandas as pd

1.1.2 任务二：载入数据

(1) 使用绝对路径载入数据

#绝对路径
df = pd.read_csv('D:/学习/DataAnalysis_2106/hands-on-data-analysis-master/第一单元项目集合/train.csv')

(2) 使用相对路径载入数据

#相对路径
df = pd.read_csv('../../DataAnalysis_2106/hands-on-data-analysis-master/第一单元项目集合/train.csv')

…/表示返回上一级目录
…/…/表示返回了两级

【1】可以用print(os.getcwd())查看当前工作目录
【2】知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？
【3】了解一下’.tsv’和’.csv’的区别，如何加载这两个数据集？

1.1.3 任务三：每1000行为一个数据模块，逐块读取

df = pd.read_csv(r'D:\学习\DataAnalysis_2106\hands-on-data-analysis-master\第一单元项目集合\train.csv', chunksize=100)
for chunk in  df:
    print(chunk)

【思考】什么是逐块读取？为什么要逐块读取呢？
为了将数据转换成’pandas.core.frame.DataFrame’类型？

【提示】大家可以chunker(数据块)是什么类型？用for循环打印出来出处具体的样子是什么？
<class ‘pandas.core.frame.DataFrame’>

1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

#index_col= '乘客ID'  表示第一列为'乘客ID'
df = pd.read_csv(path, names=['乘客ID', '是否幸存', '仓位等级', '姓名', '性别', '年龄', '兄弟姐妹个数', '父母子女个数', '船票信息', '票价', '客舱', '登船港口'], index_col= '乘客ID', header= 0)

【思考】所谓将表头改为中文其中一个思路是：将英文列名表头替换成中文。还有其他的方法吗？

1.2 初步观察

导入数据后，你可能要对数据的整体结构和样例进行概览，比如说，数据大小、有多少列，各列都是什么格式的，是否包含null等

1.2.1 任务一：查看数据的基本信息

df.info()

运行结果：

<class 'pandas.core.frame.DataFrame'>
Int64Index: 891 entries, 1 to 891
Data columns (total 11 columns):
#Column  Non-Null Count  Dtype  
---  ------  --------------  -----  
 0   是否幸存    891 non-null    int64  
 1   仓位等级    891 non-null    int64  
 2   姓名      891 non-null    object 
 3   性别      891 non-null    object 
 4   年龄      714 non-null    float64
 5   兄弟姐妹个数  891 non-null    int64  
 6   父母子女个数  891 non-null    int64  
 7   船票信息    891 non-null    object 
 8   票价      891 non-null    float64
 9   客舱      204 non-null    object 
 10  登船港口    889 non-null    object 
dtypes: float64(2), int64(4), object(5)
memory usage: 83.5+ KB

【提示】有多个函数可以这样做，你可以做一下总结

1.2.2 任务二：观察表格前10行的数据和后15行的数据

df.head(10)
df.tail(15)

1.2.4 任务三：判断数据是否为空，为空的地方返回True，其余地方返回False

df = pd.read_csv(path, chunksize=100)
for chunk in  df:
    print(chunk.isnull())

notnull()功能与之相反。

#注意，这两个函数只能判断数据类型为<class ‘pandas.core.frame.DataFrame’>的对象。

【总结】上面的操作都是数据分析中对于数据本身的观察

【思考】对于一个数据，还可以从哪些方面来观察？找找答案，这个将对下面的数据分析有很大的帮助

1.3 保存数据

1.3.1 任务一：将你加载并做出改变的数据，在工作目录下保存为一个新文件train_chinese.csv

df.to_csv('train_chinese.csv', encoding='GBK')

注意：不同的操作系统保存下来可能会有乱码。大家可以加入 encoding=‘GBK’ 或者 encoding =‘uft-8’

【总结】数据的加载以及入门，接下来就要接触数据本身的运算，我们将主要掌握numpy和pandas在工作和项目场景的运用。