学习笔记 — Datawhale数据分析入门Task01

数分基本流程：

一、数据载入、读取

二、数据预处理

三、数据转换

四、数据建模、计算、分析

五、结果可视化呈现

---

介绍

Python小白一枚，根据Datawhale小组引导文档完成Kaggle泰坦尼克任务，本文用来记录学到的知识点与一些心得。欢迎各位老师批评指正。参考书籍《利用Python进行数据分析》

---

一、数据载入

import numpy as np
import pandas as pd
import os

#相对路径载入数据
pd.read_csv('train.csv')
#如果相对路径载入报错，查看当前工作目录再进行载入
os.getcwd('train.csv')
#查看绝对路径工作目录并进行载入
path = os.path.abspath('train.csv')
pd.read_csv(path)

绝对路径中有中文会报错“Initializing from file failed”，运行下列代码。文件名含有中文同理。

p = open(path)
df = ps.read_csv(p)

Numpy:以数组为对象进行计算的基础包，在数据处理时可以进行快速的向量化计算，也就是说以N(Ndarray)维数组为对象，无需编写循环程序遍历数组中的每一个元素，直接对所有数据进行矩阵计算。适合处理同质型的数值类数组数据。

Pandas：用来处理表格型或异质型数据，相较于Numpy，Pandas更多提供了针对特定场景的函数功能。

相对路径：相对于当前工作目录，文件位置的路径。

绝对路径：完整描述文件位置的路径。

'.csv'和'.tsv'

'.csv'文件以半角逗号作为字段值的分隔符，'.tsv'文件以制表符作为字段值的分隔符

pd.read_csv()和pd.read_table()

read_csv()读取以‘ , ’分隔的文件到DataFrame

read_table()读取以制表符‘ /t ’分隔的文件到DataFrame

在read_table()通过设置sep参数，以达到同样的效果

pd.read_table('train.csv', sep=',')   =  pd.read_csv('train.csv')

#每1000行作为一个数据模块，逐块读取
chunker = pd.read_csv('train.csv',chunksize=1000)

#chunker数据类型
print(type(chunker))