WeFeShare |联邦SQL-畅享分布式数据的无缝连接和查询

WeFeShare ：天冕科技独家策划的「隐私计算」分享栏目，内容主要围绕技术原理探讨、系统架构分析、应用场景介绍以及实例部署讲解等，和用户共同玩转联邦学习。

*本文约2600字，阅读约需6分钟

天冕联邦学习平台（WeFe）联邦SQL分布式数据连接和查询功能正式上线，为跨企业的数据查询提供了一种简单而高效的方式。这篇文章，我们将带领大家了解和学习如何使用这一功能。

| 前言

随着数字化时代的到来，企业和组织之间的数据交流变得越来越频繁和重要。不同企业可能拥有各自的数据资源，而这些数据资源可能包含了有价值的信息，可以为其他企业和组织提供洞察和决策支持。然而，由于数据存储在不同的数据库系统中，并且基于数据安全的考虑，跨企业之间合作的数据分析变得复杂而困难。

01

系统概述

为了解决跨企业间的数据查询，联邦SQL被开发出来，它允许用户在跨企业的数据源上进行查询和分析。为跨企业的数据查询提供了一种简单而高效的方式。它使得企业和组织能够方便地共享和访问数据，促进了合作和创新。此外，联邦SQL还提供了安全性和隐私保护机制，确保数据的安全和隐私。

02

系统介绍

1.数据资源

这个模块是对系统的数据资源进行管理，支持二十多种异构数据源，动态数据源加载。提供了数据源配置及SQL资源管理功能。成员方配置系统可用的数据资源后可授权给项目使用。

2.资源授权及权限配置

系统已添加的数据资源可以授权给项目使用，成员可以使用项目内的数据资源进行联合数据分析。为了数据安全性，成员可对己方数据资源进行权限控制。

控制方式包括

1）字段“可用”，选择可以在sql语句中使用的字段。

2）字段“可查”，选择可以在select子句中返回的字段。

3）字段“需审核”，选择需要人工审核的字段。

4）字段“最小分组数”，为避免 group size 过小泄露隐私，小于指定大小的组不会返回数据。

3.项目资源区

显示项目内已被授权可使用的数据资源，可预览数据资源及元信息。

4.SQL探索编辑区

我们的SQL探索页面为成员方提供了一个方便的查询接口，他们可以通过输入查询语句来获取结果。为了确保数据的安全性和隐私保护，我们对输入的查询语句做了一些限制和验证。

首先，我们只允许输入查询语句，不允许执行其他类型的SQL语句。这样可以避免成员方对数据进行修改或删除操作，确保数据的完整性和一致性。同时，我们还限制了查询语句中只能使用数据权限配置中可用的字段。这样可以防止成员方访问他们没有权限的数据字段，保护了数据的安全性。

其次，我们只允许查询数据权限配置中可查的字段。这样可以确保成员方只能查询他们有权限的数据字段，避免了对敏感数据的访问和泄露。

此外，我们还对查询语句中的group by字段进行了限制。如果group by的字段分组的数量小于权限配置中设置的最小分组数，那么查询语句将不被允许执行。这样可以避免成员方对数据进行过于细粒度的分组，保护了数据的隐私。

最后，我们的SQL探索页面支持同时执行多条查询语句。这样可以提高查询的效率和灵活性，方便成员方进行批量查询和分析。

除此之外，在SQL探索页面，我们不仅注重数据安全和查询合法性的限制，还做了许多优化工作，以提升用户体验。

联想输入：我们实现了SQL关键词联想输入功能。当用户在查询语句中输入关键词时，系统会自动提示可能的关键词选项，帮助用户快速完成查询语句的编写。这样可以减少用户的输入错误和提高查询语句的准确性。

我们还实现了资源的联想输入功能。无论成员名，数据源名，库名，表名还是字段名，当用户在查询语句中输入相关信息时，系统会自动提示可能的选项，帮助用户快速填写。

快捷键：我们还支持常规操作的快捷键。例如保存、格式化、查询、撤回、取消撤回等常见操作。这样大大提高用户的操作效率和便捷性。

5.个人工作区

在SQL探索页面上，我们为用户提供了个人工作区，其中包括笔记区、模板、函数几个模块，以便更好地支持用户的查询和分析需求。

笔记区：用户可将个人查询语句保存为笔记，并且可查浏览其他用户使用的SQL笔记，以便进行参考和学习。这个功能可以帮助用户更好地组织和管理个人的查询语句，同时也能够从其他用户的经验中获得灵感和启发。

模板：我们提供了一些系统模板，其中包含一些基本语句的参考。用户可以双击函数名或语句，将其插入到SQL编辑区的光标处，从而快速构建查询语句。另外，用户也可自定义自己的模板，以便更好地适应个人的查询需求和工作流程。

函数：用户可以查看支持的函数列表，并且双击函数名将函数名插入到SQL编辑区的光标处。这个功能方便用户使用和调用各种函数。

6.结果区

我们不仅提供了丰富的查询工具和功能，还支持多窗口结果展示和结果下载，以及查看执行历史的功能。

用户可以在SQL编辑区编写多条SQL语句，并执行这些语句。每条语句的查询结果会在一个独立的窗口中展示，方便用户同时查看多个查询结果。这样可以提高查询效率，同时也方便用户对比和分析不同查询的结果。

其次，用户可以将查询结果下载到本地。我们提供了下载按钮，用户可以选择将查询结果以CSV格式下载到本地，方便后续的数据分析和处理。

03

关键技术

1.采用可信执行环境（TEE）技术，确保数据的安全性和完整性，防止数据被篡改或泄露。

2.通过解析SQL查询语句的抽象语法树，将SQL片段进行拼接，实现灵活的查询操作。

3.采用安全Join技术，确保在联接操作中不会泄露敏感数据。

4.基于大数据分布式查询引擎，处理海量数据查询。

04

创新范围

1.多方联合分布式查询，支持海量数据查询。

2.分布式执行计划优化，支持Join下推，谓词下推，提升查询性能。

3.支持二十多种异构数据源。

4.支持动态数据源加载。

5.支持Join、GroupBy、Unoin、隐式表关联等联邦关键字，支持复杂表达式、where语句子查询等。

05

应用场景

跨组织数据查询：在跨不同组织或企业的数据集中进行查询和分析时，联邦SQL可以实现数据的联合查询和聚合操作，而无需将数据集中到单个位置。例如，金融行业中的多家银行可以使用联邦SQL查询客户的跨银行交易数据，以便进行反洗钱分析和风险评估。

多地区数据分析：当数据分布在不同地区或分公司时，联邦SQL可以用于在各个数据源上进行查询和分析，而无需将数据集中到一个中心位置。这在零售、物流等行业中特别有用，可以进行跨地区销售分析、库存管理等操作。

多云环境数据处理：联邦SQL可以在多个云平台或数据中心之间进行查询和联合操作，而无需将数据复制到一个中心位置。这对于那些在多个云平台上部署应用程序或存储数据的企业来说非常有用，可以实现跨云平台的数据分析和查询。

隐私保护数据共享：联邦SQL可以在保护数据隐私的同时，实现数据的共享和查询。例如，在医疗领域，不同医院之间可以使用联邦SQL查询和分析患者的医疗数据，而无需将敏感数据集中到一个位置，从而保护患者隐私。

以上就是这篇文章的全部内容了，大家如果对天冕联邦SQL有疑问，欢迎随时与我们联系。

扫码添加天冕君微信（tianmiantech001)加入我们的技术社群，这里有上百个业内大牛，欢迎一起探讨交流！