动手学数据分析（1）

学习任务：

task1数据加载及探索性数据分析

什么是数据分析？
用恰当的统计分析方法对收集来的大量数据进行分析，将他们加以汇总，理解并消化，以求最大化地发挥数据的作用。
数据挖掘是一种高级的数据分析方法，从大量的数据中挖掘出有用的信息，主要侧重于解决四类分析问题：分类，聚类，关联，预测。

1.数据加载

1.1相关概念：
绝对路径是文件的真正存在的路径，是指从硬盘的根目录(盘符)开始，一级级目录指向文件。
相对路径是以当前文件为基准，一级级目录指向被引用的资源文件。

举个小栗子
(1) 使用相对路径载入数据

df = pd.read_csv('train.csv')

(2) 使用绝对路径载入数据

df = pd.read_csv(r"C:\Users\DELL\Desktop\hands-on-data-analysis-master\第一单元项目集合\train.csv")

ps：这里按照教程时报错了。
无脑复制教程

df = pd.read_csv('/Users/chenandong/Documents/datawhale数据分析每个人题目设计/招募阶段/第一单元项目集合/train.csv')

在文件路径无误的情况下报错FileNotFoundError。
此处应该是系统的问题。在Windows系统中，文件路径是由符号\来表示的，而在Linux中是由符号/来表示。如果代码需要在不同的系统上运行，需要注意修改。
使用r"C:\User\Desktop"或C:\User\Desktop的字符串，同时避免python对字符串的转义。问题解决。

教程思考题：
【提示】相对路径载入报错时，尝试使用os.getcwd()查看当前工作目录。

import os
os.getcwd()

【思考】知道数据加载的方法后，试试pd.read_csv()和pd.read_table()的不同，如果想让他们效果一样，需要怎么做？了解一下’.tsv’和’.csv’的不同，如何加载这两个数据集？

• pd.read_csv() 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为逗号
• pd.read_table() 从文件、URL、文件型对象中加载带分隔符的数据。默认分隔符为制表符“\t”

如果希望他们效果一样，可以指定分隔符。

pd.read_table('', sep=',')

tsv文件和csv的文件的区别是：前者使用\t作为分隔符，后者使用,作为分隔符。

pd.read_csv('test.tsv', sep='\t')

1.2什么是逐块读取？为什么要逐块读取呢？
处理大文件时，只需要读取文件的一小部分或逐块对文件进行迭代。当数据集太大时，通过逐块读取数据可以加快文件读取的速度。

#每1000行为一个数据模块，逐块读取
chunker = pd.read_csv('train.csv',chunksize=1000)   

【提示】大家可以chunker(数据块)是什么类型？用for循环打印出来出处具体的样子是什么？

chunker = pd.read_csv('train.csv',chunksize=1000)
for chunker in df:
    print(chunker)

查看chunker的类型：

print(type(chunker))

结果如下：

for循环打印：

chunker = pd.read_csv('train.csv', chunksize=1000)
for chunker in df:
    print(chunker)

1.3将表头修改成中文

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

神奇的事情发生了…

导入数据后我们需要对数据进行观察

2.初步观察

2.1查看数据基本信息

df