数据分析task1

1. 数据加载
   1.1 导入numpy和pandas

import numpy as np
import pandas as pd

1.2 载入数据

#使用相对路径载入数据-相对路径就是以当前文件为基准进行一级级目录指向被引用的资源文件
df = pd.read_csv('train.csv')
#使用绝对路径载入数据-绝对路径就是文件的真正存在的路径，是指从硬盘的根目录(盘符)开始，进行一级级目录指向文件。
df = pd.read_csv('D:\学习\动手学数据分析-组队学习版\第一单元项目集合/train.csv')
df.head(3)
#如果路径中包含中文，要用反斜杠

对比pd.read_csv 和 pd.read_table

二者对比相当于table展示的界面是所有信息统一用逗号隔开

1.3 每1000行为一个数据模块，逐块读取

chunker = pd.read_csv('train.csv', chunksize=1000)
'''一.选择小的ChunkSize
–优点
1.数据均衡时迁移速度更快
2.数据分布更均匀
–缺点
1.数据均衡会更频繁
2.块之间的数据分裂更频繁
备注:当一个块的数据超过块大小的50%时，块就开始分裂
3.在路由节点会消耗更多的资源用于定位
二.选择较大的ChunkSize
–优点
1.数据块更少进行分裂操作
2.层开销更小（config定位块更迅捷）
3.避免虚假的迁移
备注：一块数据，会在两个节点之间来回移动
–缺点
1.数据块移动将集中消耗IO资源
2.数据分布不太均匀
'''

1.1.4 任务四：将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

1.2初步观察
1.21 任务一：查看数据的基本信息

df