DataWhale 动手学数据分析 第一章 数据基本操作

第一章 数据基础操作

第一节 数据载入及初步观察

1.1 载入数据

数据集下载 https://www.kaggle.com/c/titanic/overview

1.1.1 导入必要的库，即numpy和pandas

import numpy as np
import pandas as pd

1.1.2 载入数据

train1 = pd.read_csv('train.csv')  #使用相对路径载入数据

import os # 导入必要的库
path = os.path.abspath("train.csv") # 显示train.csv的绝对路径
train2 = pd.read_csv(path)

正确载入后的输出：

1.1.3 将数据分为模块，逐块读取

chunker = pd.read_csv('train.csv', chunksize=1000)
type(chunker)          # 由这行代码的输出可知： chunker(数据块)是TextFileReadershujuleixing

1.1.4 替换表头

我们可以将将表头改成中文，索引改为乘客ID （对于某些英文资料，我们可以通过翻译来更直观地熟悉我们的数据）

写法一：

df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df

输出一：

写法二：

df = pd.read_csv(path)
df.columns = ['乘客ID','是否幸存','乘客等级','乘客姓名','性别','年龄','堂兄弟/妹个数','父母与小孩个数','船票信息','票价','客舱','登船港口']
df.head()

输出二：

1.2 初步观察数据

1.2.1 查看数据的基本信息

方法一：

df.info()

输出：

方法二：

df.describe()

输出二：

1.2.2 观察指定范围的数据

df.head()   # 默认显示正数5行的内容
df.head(10) # 显示正数10行的内容

df.tail()   # 默认显示倒数5行的内容
df.tail(15) # 显示倒数15行的内容

1.2.3 判断数据是否为空，为空的地方返回True，其余地方返回False

pd.isnull(df)

输出：

1.3 保存数据

df.to_csv('train_chinese.csv')

运行成功后，会生成一个新的csv文件：

1.4 了解数据

（以下还是以train.csv文件为例）

pandas中有两个数据类型DateFrame和Series

• DataFrame是 pandas 中的一个二维数据结构，类似于电子表格或 SQL 表，它包含有序的列，每一列可以是不同的值类型（数字、字符串、布尔值等）。DataFrame 既有行索引，又有列索引，可以通过行索引或列索引来获取数据。
• Series 是 pandas 中的一维数据结构，类似于一维数组或列表，它包含一组数据以及与之相关联的标签（索引）。Series 的索引部分是用来访问数据的，数据部分是一个包含各种类型数据的数组。

1.4.1 查看DataFrame数据的每列的名称

df.columns

1.4.2 查看"Cabin"这列的所有值

df.Cabin     # 方法一
df['Cabin']  # 方法二

1.4.3 删除多余的列

先载入文件“test_1.csv”

test_1 = pd.read_csv('test_1.csv')

对比test_1.csv文件和train.csv文件，可以发现，test_1.csv文件多出了一列，我们想要将这多余的一列删掉，有以下两种方法：

方法一：

del test_1['a']  # 删除列元素为a的这一列

方法二：

test_1.drop(['a'], axis=1)        # axis = 0 表示删除行， axis = 1 表示删除列
                                  # drop操作后，返回的是test_1的副本，并不是test_1本身
test_1.drop(['a'], axis=1, inplace = True) # 如果想要删掉原本文件的某列，需要将关键字inplace设置为True                                  

1.4.4 隐藏某些列

如果想将[‘PassengerId’,‘Name’,‘Age’,‘Ticket’]这几个列元素隐藏，只观察其他几个列元素，可以通过以下代码实现：

test_1.drop(['PassengerId','Name','Age','Ticket'], axis = 1)

1.5 筛选数据

以"Age"为筛选条件，显示年龄在10岁以下的乘客信息。

test_1['Age'] < 10          # 返回一个判断条件是否成立的True/False表
test_1[test_1['Age'] < 10]  # 返回一个年龄在10岁以下的乘客的表

以"Age"为条件，将年龄在10岁以上和50岁以下的乘客信息显示出来，并将这个数据命名为midage

midage = test_1[(test_1['Age'] > 10) & (test_1['Age'] < 50)]

将midage的数据中第100行的"Pclass"和"Sex"的数据显示出来

midage.loc[[100], ['Pclass','Sex']]

使用loc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.loc[[100, 105, 108], ["Pclass","Name","Sex"]]

使用iloc方法将midage的数据中第100，105，108行的"Pclass"，"Name"和"Sex"的数据显示出来

midage.iloc[[100,105,108],[2,3,4]]

1.6 了解数据

1.6.1 利用Pandas对数据进行排序

• 创建一个DataFrame对象

sample = pd.DataFrame(np.random.randn(3,3),
					  index=list('213'),
					  columns=list('bca'))

• 将构建的DataFrame中的数据根据某一列，升序排列

sample.sort_values('b')  # 把b列按升序排列

• 按行索引升序排列

sample.sort_index()      # 该函数默认按行排列

• 按列索引升序排列

sample.sort_index(axis=1) # axis=1 表示按列排列

• 按列索引降序排列

sample.sort_index(axis=1, ascending=False)

• 让任选两列数据同时降序排序

sample.sort_index(by=['a', 'c'], ascending=False)

• 对泰坦尼克号数据（trian.csv）按票价和年龄两列进行综合排序（降序排列）

df.sort_index(by=['票价', '年龄'], ascending=False) # 优先排票价，再排年龄

1.6.2 利用Pandas进行算术计算

创建两个DataFrames： x 和 y

x = pd.DataFrame(np.random.randn(3,3),
					  index=list('213'),
					  columns=list('bca'))
					 
y = pd.DataFrame(np.random.randn(3,3),
					  index=list('413'),
					  columns=list('bcd'))

x+y   # 只有x和y共有的行和列才能相加，不共有的行和列会显示‘nan’

输出：