数分基本流程:
一、数据载入、读取
二、数据预处理
三、数据转换
四、数据建模、计算、分析
五、结果可视化呈现
介绍
Python小白一枚,根据Datawhale小组引导文档完成Kaggle泰坦尼克任务,本文用来记录学到的知识点与一些心得。欢迎各位老师批评指正。参考书籍《利用Python进行数据分析》
一、数据载入
import numpy as np
import pandas as pd
import os
#相对路径载入数据
pd.read_csv('train.csv')
#如果相对路径载入报错,查看当前工作目录再进行载入
os.getcwd('train.csv')
#查看绝对路径工作目录并进行载入
path = os.path.abspath('train.csv')
pd.read_csv(path)
绝对路径中有中文会报错“Initializing from file failed”,运行下列代码。文件名含有中文同理。
p = open(path)
df = ps.read_csv(p)
Numpy:以数组为对象进行计算的基础包,在数据处理时可以进行快速的向量化计算,也就是说以N(Ndarray)维数组为对象,无需编写循环程序遍历数组中的每一个元素,直接对所有数据进行矩阵计算。适合处理同质型的数值类数组数据。
Pandas:用来处理表格型或异质型数据,相较于Numpy,Pandas更多提供了针对特定场景的函数功能。
相对路径:相对于当前工作目录,文件位置的路径。
绝对路径:完整描述文件位置的路径。
'.csv'和'.tsv'
'.csv'文件以半角逗号作为字段值的分隔符,'.tsv'文件以制表符作为字段值的分隔符
pd.read_csv()和pd.read_table()
read_csv()读取以‘ , ’分隔的文件到DataFrame
read_table()读取以制表符‘ /t ’分隔的文件到DataFrame
在read_table()通过设置sep参数,以达到同样的效果
pd.read_table('train.csv', sep=',') = pd.read_csv('train.csv')
#每1000行作为一个数据模块,逐块读取
chunker = pd.read_csv('train.csv',chunksize=1000)
#chunker数据类型
print(type(chunker))