Pandas学习笔记—合并

1. append与assign

1.1 append方法

利用序列添加行（必须指定name）

用DataFrame添加表

1.2 assign方法

该方法主要用于添加列，列名直接由参数指定：

可以一次添加多个列

2. combine与update

combine和update都是用于表的填充函数，可以根据某种规则填充

2.1 combine方法

可以看出combine方法是按照表的顺序轮流进行逐列循环的，而且自动索引对齐，缺失值为NaN

根据列均值的大小填充

索引对齐特性（默认状态下，后面的表没有的行列都会设置为NaN）

使得df1原来符合条件的值不会被覆盖

在新增匹配df2的元素位置填充-1

combine_first方法：这个方法作用是用df2填补df1的缺失值，功能比较简单，但很多时候会比combine更常用，下面举两个例子

2.2 update方法

三个特点：返回的框索引只会与被调用框的一致（默认使用左连接）；第二个框中的nan元素不会起作用；没有返回值，直接在df上操作

例①：索引完全对齐情况下的操作

例②：部分填充

例③：缺失值不会填充

3. concat方法

concat方法可以在两个维度上拼接，默认纵向（axis=0），拼接方式默认外连接，即取拼接方向的并集，而 “inner” 是取拼接方向的交集

默认状态拼接：

axis=1时沿列方向拼接：

join设置为内连接（由于axis=0，因此列取交集）：

join设置为外链接：

同样，可以添加Series：

key参数用于对不同的数据框增加一个标号，便于索引：

4. merge与join

4.1 merge函数

merge函数的作用是将两个pandas对象横向合并，遇到重复的索引项时会使用笛卡尔积，默认inner连接，可选left、outer、right连接。merge/join与concat的不同之处在于on参数，可以指定某一个对象为key来进行连接

以key1为准则连接，如果具有相同的列，则默认suffixes=(’_x’,’_y’)：

以多组键连接：

默认使用inner连接，因为merge只能横向拼接，所以取行向上keys的交集，下面看如果使用how=outer参数¶
注意：这里的how就是concat的join

左连接：

右连接：

validate检验的是到底哪一边出现了重复索引，如果是“one_to_one”则两侧索引都是唯一，如果"one_to_many"则左侧唯一

indicator参数指示了，合并后该行索引的来源

4.2 join函数

join函数作用是将多个pandas对象横向拼接，遇到重复的索引项时会使用笛卡尔积，默认左连接，可选inner、outer、right连接

同样可以指定key：

多层key：

5. 问题与练习

5.1 问题

【问题一】 请思考什么是append/assign/combine/update/concat/merge/join各自最适合使用的场景，并举出相应的例子。

append与assign是行接起来，combine/update是填充，merge/join横向拼接

【问题二】 merge_ordered和merge_asof的作用是什么？和merge是什么关系？

merge_ordered:函数允许组合时间序列和其他有序数据。 包含关系。

【问题三】 请构造一个多级索引与多级索引合并的例子，尝试使用不同的合并函数。

略

【问题四】 上文提到了连接的笛卡尔积，那么当连接方式变化时（inner/outer/left/right），这种笛卡尔积规则会相应变化吗？请构造相应例子。

不会。

5.2 练习

【练习一】有2张公司的员工信息表，每个公司共有16名员工，共有五个公司，请解决如下问题：

（a） 每个公司有多少员工满足如下条件：既出现第一张表，又出现在第二张表。

（b）将所有不符合(a)中条件的行筛选出来，合并为一张新表，列名与原表一致。

（c）现在需要编制所有80位员工的信息表，对于(b)中的员工要求不变，对于满足(a)条件员工，它们在某个指标的数值，取偏离它所属公司中满足(b)员工的均值数较小的哪一个，例如：P公司在两张表的交集为{p1}，并集扣除交集为{p2,p3,p4}，那么如果后者集合的工资均值为1万元，且p1在表1的工资为13000元，在表2的工资为9000元，那么应该最后取9000元作为p1的工资，最后对于没有信息的员工，利用缺失值填充。




【练习二】有2张课程的分数表（分数随机生成），但专业课（学科基础课、专业必修课、专业选修课）与其他课程混在一起，请解决如下问题：

（a）将两张表分别拆分为专业课与非专业课（结果为四张表）。

（b）将两张专业课的分数表和两张非专业课的分数表分别合并。

（c）不使用(a)中的步骤，请直接读取两张表合并后拆分。

（d） 专业课程中有缺失值吗，如果有的话请在完成（3）的同时，用组内（3种类型的专业课）均值填充缺失值后拆分。

参考文章: Pandas教程.