使用Pyecharts进行全国水质TDS地图可视化全过程2：使用Power Query 进行百万行级别数据匹配

简介：本文介绍使用Excel  Power Query进行数据匹配。利用这种方式，可以在几分钟内完成百万级别数据量的匹配。

在TDS可视化地图项目中，我们的原始数据没有TDS和具体安装地址的对应，我们需要通过机器条码去匹配安装台账的地址。

这个数据量很大，有多大？我们截取的时间段内，它会去到接近300万行数据。

传统匹配方式，大家用Vlookup最多。但是数据量大的时候，会卡得你怀疑人生，尤其是电脑配置不高时，最后以死机结尾。

有很多种方式可以进行这种级别的数据处理，例如VBA重写Vlookup函数，使用SQL，Access，Python编程等。

但大部分人不会编程。所以我今天讲一种不需要编程的处理方式——使用Power Query进行匹配。

操作非常简单，一学就会。

首先介绍下，Power Query是一个Excel插件，是Power BI的一个组件。Microsoft Office2016版本中自带了Power Query，其他低版本的需要下载插件。

接下来，我们举一个二十四节气数据匹配的例子来学习。

插个题外话，每年年底总有新闻报导争论属相，例如到底是属牛还是属虎，有人认为元旦过后是新的属相，有人认为正月初一后是新的属相，等等。

夏虫不可语冰，我从不和人争论这个。

我个人观点，这个没什么好争论的，民间你怎么认为都可以。但是，在命理上，一定是按节气去计算，以立春交接时间点为分界，立春前为旧的属相，立春后为新的属相。

节气在命理、术数中具有重要作用。例如八字的四柱排盘是以节气为基础，一旦排错了，八字就错了，我曾经在网上看过错误的排盘。又如在梅花易数中，节气决定着卦气旺衰，卦气旺衰决定着起卦吉凶的判断。

回到正题，我们来学习Power Query数据匹配。

这里有一份表，从1583年到2135年的节气时间点。我们有另外一份新表，包含了4个年份。需求是从总表中匹配出当年对应的二十四节气时间。

这550多年的二十四节气时刻表

 待匹配的表格，一共4个年份，我们需要匹配出当年的二十四节气时刻

 使用Power Query操作，一共就只有两步，非常的简单：

第一步：新建查询，加载数据源

入口在菜单栏的数据，对于Excel，一般我们数据可以来源于其他的Excel文件，或者是同一份Excel文件的其他Sheet。当来自其他文件时，我们选从文件——从Excel工作薄。当来自同一份Excel文件的其他Sheet时，我们选从表格。

当来自同一份Excel文件的其他Sheet时，这里有个非常快的方法可以选取到数据，就是我们先去到所在Sheet页，然后任意点击一个数据，再选从表格，就非常快速的把表格内容全部选上了。

注意勾选一下表包含标题，免得后面看不懂这一列数据是干嘛的。

点击“确定”后，会出现如下界面：

点击左上角的“关闭并上载”，会出现如下页面。表明数据已经上载好了。

按照上面的步骤，需要匹配的表，也加载好。加载后如下所示。

加载后，Excel默认的命名是表1，表2，表3...这种，辨识度不高，当我们需要匹配多个表格时，我们可以把右侧表的名字改一下，以免表格太多时，忘记了这个表是什么，右键就可以更改。

第二步：接下来是使用“合并查询”来匹配

入口在数据——新建查询——合并。

出来的界面：

 下拉框里，我们选择好表格：

我们以年份为匹配，所以就把上下两个表的年份列选上：

联接种类就用默认的：左外部(第一个中的所有行，第二个中的匹配行)

然后点击确定，出现如下界面：

 鼠标点击二十四节气边上的按钮，会出现如下界面：

这个时候就很明白了，我们只需要勾选我们需要的数据就可以，这里我们的需求是所有二十四节气，所以直接选上全部。

点击“确定”，出现如下界面：

然后点击左上角的“关闭并上载”，就可以把数据导出了，可以看到数据已经到了Excel表里。

至此，我们完成了我们想要的数据的匹配。

这种匹配方式的效率非常高。利用这种方式，我们可以在几分钟内完成百万级别数据量的匹配。