《Pandas数据分析》（三）——数据重构1

复习： 在前面我们已经学习了Pandas基础，第二章我们开始进入数据分析的业务部分，在第二章第一节的内容中，我们学习了数据的清洗，这一部分十分重要，只有数据变得相对干净，我们之后对数据的分析才可以更有力。而这一节，我们要做的是数据重构，数据重构依旧属于数据理解（准备）的范围。

开始之前，导入numpy、pandas包和数据

# 导入基本库
import pandas as pd
import numpy as np
# 载入data文件中的:train-left-up.csv
data=pd.read_csv(r'data\train-left-up.csv')
data

2 第二章：数据重构

2.4 数据的合并

2.4.1 任务一：将data文件夹里面的所有数据都载入，观察数据的之间的关系

#写入代码
text_left_up = pd.read_csv("data/train-left-up.csv")
text_left_down = pd.read_csv("data/train-left-down.csv")
text_right_up = pd.read_csv("data/train-right-up.csv")
text_right_down = pd.read_csv("data/train-right-down.csv")

#写入代码
text_left_up.head()

text_left_down.head()

text_right_up.head()

text_right_down.head()

2.4.2：任务二：使用concat方法：将数据train-left-up.csv和train-right-up.csv横向合并为一张表，并保存这张表为result_up

#写入代码
result_up=pd.concat([text_left_up,text_right_up],axis=1)
result_up.head()

pd.concat(object,axis=0,join=‘outer’,join_axes=None,ignore_index=False,keys=None,levels=None,names=None,verify_integrity=False)

常用参数说明

• object：series，dataframe或则是panel构成的序列list
• axis：需要合并连接的轴，0是行，1是列 在这里可以记住axis=1就是横向合并，axis=0就是纵向合并
• join：连接的方式inner，或者outer

2.4.3 任务三：使用concat方法：将train-left-down和train-right-down横向合并为一张表，并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。

#写入代码
result_down=pd.concat([text_left_down,text_right_down],axis=1)
result=pd.concat([result_up,result_down],axis=0)
result.head()

2.4.4 任务四：使用DataFrame自带的方法join方法和append：完成任务二和任务三的任务

jion函数：

功能说明：通过索引或者指定的列连接两个DataFrame。横向操作

DataFrame.join(other, on=None, how=’left’, lsuffix=”, rsuffix=”, sort=False)

参数说明

• other:【DataFrame，或者带有名字的Series，或者DataFrame的list】如果传递的是Series，那么其name属性应当是一个集合，并且该集合将会作为结果DataFrame的列名
• on:【列名称，或者列名称的list/tuple，或者类似形状的数组】连接的列，默认使用索引连接
• how:【{‘left’, ‘right’, ‘outer’, ‘inner’}, default:‘left’】连接的方式，默认为左连接
• lsuffix:【string】左DataFrame中重复列的后缀
• rsuffix:【string】右DataFrame中重复列的后缀
• sort:【boolean, default,False】按照字典顺序对结果在连接键上排序。如果为False，连接键的顺序取决于连接类型（关键字）。

append函数：

功能说明：向dataframe对象中添加新的行，如果添加的列名不在dataframe对象中，将会被当作新的列进行添加。纵向操作

append(self, other, ignore_index=False, verify_integrity=False)

参数说明

• other：另一个df；
• ignore_index：若为True，则对index进行重排；
• verify_integrity：对index的唯一性进行验证，若有重复，报错。若已经设置了ignore_index，则该参数无效。

返回值：

返回添加完成连接的一个新对象

#写入代码
resul_up = text_left_up.join(text_right_up)
result_down = text_left_down.join(text_right_down)
result = result_up.append(result_down)
result.head()

2.4.5 任务五：使用Panads的merge方法和DataFrame的append方法：完成任务二和任务三的任务

pd.merge(left, right, how=‘inner’, on=None, left_on=None, right_on=None,
left_index=False, right_index=False, sort=True,
suffixes=(’_x’, ‘_y’), copy=True, indicator=False,
validate=None)

参数如下：

• left: 拼接的左侧DataFrame对象
• right: 拼接的右侧DataFrame对象
• on: 要加入的列或索引级别名称。 必须在左侧和右侧DataFrame对象中找到。 如果未传递且left_index和right_index为False，则DataFrame中的列的交集将被推断为连接键。
• left_on:左侧DataFrame中的列或索引级别用作键。 可以是列名，索引级名称，也可以是长度等于DataFrame长度的数组。
• right_on: 左侧DataFrame中的列或索引级别用作键。 可以是列名，索引级名称，也可以是长度等于DataFrame长度的数组。
• left_index: 如果为True，则使用左侧DataFrame中的索引（行标签）作为其连接键。 对于具有MultiIndex（分层）的DataFrame，级别数必须与右侧DataFrame中的连接键数相匹配。
• right_index: 与left_index功能相似。
• how: One of ‘left’, ‘right’, ‘outer’, ‘inner’. 默认inner。inner是取交集，outer取并集。比如left：[‘A’,‘B’,‘C’];right[’'A,‘C’,‘D’]；inner取交集的话，left中出现的A会和right中出现的买一个A进行匹配拼接，如果没有是B，在right中没有匹配到，则会丢失。'outer’取并集，出现的A会进行一一匹配，没有同时出现的会将缺失的部分添加缺失值。
• sort: 按字典顺序通过连接键对结果DataFrame进行排序。 默认为True，设置为False将在很多情况下显着提高性能。
• suffixes: 用于重叠列的字符串后缀元组。 默认为（‘x’，’ y’）。
• copy: 始终从传递的DataFrame对象复制数据（默认为True），即使不需要重建索引也是如此。
• indicator:将一列添加到名为_merge的输出DataFrame，其中包含有关每行源的信息。 _merge是分类类型，并且对于其合并键仅出现在“左”DataFrame中的观察值，取得值为left_only，对于其合并键仅出现在“右”DataFrame中的观察值为right_only，并且如果在两者中都找到观察点的合并键，则为left_only。

#写入代码
result_up = pd.merge(text_left_up,text_right_up,left_index=True,right_index=True)
result_down = pd.merge(text_left_down,text_right_down,left_index=True,right_index=True)
result = resul_up.append(result_down)
result.head()

2.4.6 任务六：完成的数据保存为result.csv

#写入代码
result.to_csv('result.csv')

2.5 换一种角度看数据

2.5.1 任务一：将我们的数据变为Series类型的数据

#写入代码
# 将完整的数据加载出来
text = pd.read_csv('result.csv')
text.head()

#写入代码
# stack函数会将数据从”表格结构“变成”花括号结构“，即将其行索引变成列索引，反之，unstack函数将数据从”花括号结构“变成”表格结构“，即要将其中一层的列索引变成行索引。
unit_result=text.stack().head(20)
unit_result.head(20)

stack 过程表示将数据集的列旋转为行，同样 unstack 过程表示将数据的行旋转为列。

常见的数据的层次化结构有两种，一种是表格，一种是“花括号”，即下面这样的l两种形式：

表格在行列方向上均有索引（类似于DataFrame），花括号结构只有“列方向”上的索引（类似于层次化的Series），结构更加偏向于堆叠（Series-stack，方便记忆）。stack函数会将数据从”表格结构“变成”花括号结构“，即将其行索引变成列索引，反之，unstack函数将数据从”花括号结构“变成”表格结构“，即要将其中一层的列索引变成行索引。