数据分析入门——数据的载入与pandas基础

一、数据载入

1.1 载入数据

数据集下载 Titanic - Machine Learning from Disaster | Kaggle

1.2.1导入pandas与numpy包

import numpy as np
import pandas as pd

1.2.2 导入数据

通过绝对路径导入数据集，并且显示前3行。

pd  = pd.read_csv('train.csv')
pd.head(3)

 

1.3 按块读取数据

在Pandas中，可以使用read_csv函数的chunksize参数按块读取大型文件。这个参数允许你指定一个块的大小（以行数为单位），然后read_csv会返回一个可迭代的对象，你可以用循环来遍历每一块数据。比如每1000行为一个数据模块，逐块读取

df=pd.read_csv("train.csv",chunksize=1000)
df.get_chunk()

 

 

1.4修改表头
 

在Pandas中，我们可以使用DataFrame.rename方法或直接修改DataFrame.columns属性来修改表头。

使用rename方法：

import pandas as pd
 
# 假设df是一个已经存在的DataFrame
df = pd.DataFrame({
    'A': [1, 2, 3],
    'B': [4, 5, 6]
})
 
# 修改表头，将'A'改为'X', 'B'改为'Y'
df.rename(columns={'A': 'X', 'B': 'Y'}, inplace=True)

直接修改columns属性：

# 修改表头，将'A'改为'X', 'B'改为'Y'
df.columns = ['X', 'Y']

比如接下来我们将表头改成中文，索引改为乘客ID [对于某些英文资料，我们可以通过翻译来更直观的熟悉我们的数据]

PassengerId => 乘客ID
Survived => 是否幸存
Pclass => 乘客等级(1/2/3等舱位)
Name => 乘客姓名
Sex => 性别
Age => 年龄
SibSp => 堂兄弟/妹个数
Parch => 父母与小孩个数
Ticket => 船票信息
Fare => 票价
Cabin => 客舱
Embarked => 登船港口

df.columns= ['乘客ID','是否幸存','乘客等级(1/2/3等舱位)','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口']
df