多租户saas 架构_[译/注] SaaS系统多租户架构的系统映射研究

原文地址

---

http://ksiresearchorg.ipage.com/seke/seke16paper/seke16paper_68.pdf

作者

---

Victor Hugo S. C. Pinto, Helder J. F. Luz, Ricardo R. Oliveira, Paulo S. L. Souza and Simone R. S. Souza

译注：原文发表于 2016 年

摘要

背景：SaaS (软件即服务) 是云计算中的一种服务交付模型，其应用程序由服务提供商远程托管，并可以通过 Internet 按需提供给客户。多租户架构 (MTA) 是 SaaS 的一种组织模式，它使单实例的应用程序可以托管在同一硬件上，并由多个客户 (所谓的租户) 访问，目的是降低成本。租户能够根据他们的特定需求配置系统。

目的：本研究旨在通过「系统映射研究」获得有关 SaaS 在多租户架构 (MTA) 环境下的挑战和研究机会的概述。

结果：选择了 89 项主要研究 (primary studies)，以讨论进一步研究的进展和机会。结果表明了多租户架构 (MTA) 的相关性，并指出了该主题下未来的主要研究趋势。

1 介绍

---

云计算已经从并行计算、分布式计算和平台虚拟化技术[1]的技术贡献中脱颖而出。它提供动态资源分配，并已成为软件工程的主要研究领域之一。此外，该技术还可以降低成本，优化成本并为创建新的业务模型提供机会[2]。可以按需从任何地方高效地访问一组资源，并以尽可能小的交互进行管理[3]。云可以理解为易于访问的虚拟化资源 (硬件、开发平台/或服务) 的仓库[4]。这些资源可以动态地重新配置，以适应各种负载，从而优化其使用。广泛的资源直接促成了不同服务交付模式的出现，例如SaaS (软件即服务)，它是由服务提供商远程托管并按需提供给客户的应用程序的软件部署模型。它提供了好处，如提高了运营效率并降低了成本。例如，Salesforce.com 提供用于客户关系管理的 SaaS。Salesforce 使用订阅收入模型，并按月向每位用户收费。

云计算环境在托管部署、配置、执行和管理应用程序方面与传统环境不同。主要区别在于用户类型、安全性和客户之间的资源共享，如数据库，虚拟机或网络连接[5]。「通过逻辑分离在客户之间共享资源」是 SaaS 系统的多租户架构 (MTA) 的主要特征之一。

多租户可以被称为一种组织模式，其中应用程序的单个实例托管在服务提供商上，而多家公司 (所谓的租户) 访问同一实例[6]。多租户架构 (MTA) 可以根据许多租户的要求实现高度的软件定制，并且可以按需共享和提供执行软件所需的资源。对于最终用户，该应用程序是在专用环境中执行的，即，另一个租户使用的软件故障不应影响他们。此外，他们能够根据自己的特定需求专门配置系统。

多租户架构 (MTA) 提供了很多好处，例如：

1. 优化硬件资源的使用；

2. 通过维护应用程序来降低成本；

3. 进行数据聚合的新机会。

但是，必须克服与安全性、数据共享、数据库、自定义、验证和测试、性能以及从常规 Web 应用程序迁移有关的挑战[7] [8]。

当证据很少或研究主题广泛或分散时，系统映射研究 (SMS) 是映射特定主题的合适方法。因此，我们按照 Kitchenham [9] 提出的指导方针，对 SaaS 系统的多租户进行了系统映射研究 (SMS) 。从学术角度选择了89 项主要研究来回答两个研究问题。结果分析着重于介绍不同研究类别的出版物的出现频率。作为主要贡献，我们提供了主要挑战的定义，以指导未来在多租户体系结构领域的研究。

译注：「系统映射研究 Systematic Mapping Study」，也有翻译「系统文献映射研究」，看下来是对于某个领域的已有的研究成果的总结和分类。最近我在查看相关资料的时候发现，在进入某个领域的时候，第一件事就是应该找找该领域内是否有相关的系统文献综述和系统文献映射研究，搞清楚这个领域的整体成果和研究内容。因为总结和分析这些研究成果是理解和进一步探索该领域的必要步骤。

本文的组织如下：第2节讨论系统映射研究 (SMS) 的各个阶段；第3节解决了有效性的威胁，第4节报告了结论和未来的工作。 

2 系统映射研究 (SMS)

---

实施系统映射研究 (SMS) 时考虑三个主要阶段：

1. 规划

2. 进行 

3. 报告

下一节将介绍这些阶段以及所获得的结果。

2.1 规划

在这一阶段，定义了包含以下内容的审查协议： 

1. 研究问题

2. 搜索策略

3. 包含和排除标准

4. 数据提取过程和用于数据合成的方法

主要目标是实现与多租户架构 (MTA) 相关的困难背景，文献中提出的替代方案和研究机会。因此，定义了两个研究问题 (RQ)：

• RQ1：在当前文献中可以找到与多租户架构 (MTA) 相关的哪些研究主题？

• RQ2：与多租户 SaaS 应用程序的开发，测试和发展相关的主要研究挑战和机遇是什么？

还定义了一个搜索语句和电子数据库。根据最初选择的一组关键论文并根据这些论文的引用，对搜索语句进行了详细说明和完善。在搜索语句验证过程中，必须始终从电子数据库中检索这些论文 (表I)。尽管是主观的，但这种方式可以进行搜索语句校准和识别可能相关的研究。 

表 I 用于校准搜索语句的关键论文列表

我们使用以下关键字定义了搜索语句：cloud、SaaS 和 multi-tenancy ，使用组合各种布尔运算。图1显示了详细的搜索字符串。考虑了以下数据库：ACM、IEEE、Scopus 和 Wiley Online，这些数据库涵盖了有关云计算的主要会议和期刊。

(cloud and (SaaS or "Software as a Service") and (multi-tenancy or multi-tenant or tenancy or tenant or tenants))

图1 搜索语句 

根据以下纳入 (IC) 和排除标准 (EC) 来选择相关的基础研究。并非每个主要研究都符合所有纳入标准；ICa 是收录论文的唯一强制性标准。

• ICa：在多租户架构 (MTA) 的背景下，主要研究提出了至少一项挑战或研究机会；

• ICb：主要研究提出了至少一种针对多租户架构 (MTA) 上下文的工具、框架、流程或API；

• ICc：主要研究解决了至少一个涉及多租户架构 (MTA) 的使用和迁移方面的困难；

• ICd：主要研究提出了考虑多租户架构 (MTA) 的解决方案的至少一种属性，分类或评估；

• ECa：这项研究在多租户架构 (MTA) 背景下提出了挑战或研究机会。但是，这是一篇简短的论文；

• ECb：这项研究是系统的文献综述；

• ECc：无法进行整个研究。

我们使用了数据提取表来回答表 II 中列出的评论问题。为了对每个主要研究的主要领域进行分类，我们包括了一些类别 (项目5)，例如，「定制」和「数据库」是已定义的类别。 

表 II 数据提取表的内容

在数据提取过程中，主要研究的数据由三位审稿人 (计算机科学的博士候选人) 收集。这些数据由一位研究人员提取并由另一位研究人员检查。该系统映射研究 (SMS) 是在2015年5月至8月之间执行的，数据已记录在案并可供使用 (https://goo.gl/0K68jp)。

译注：这里主要介绍了关于在多租户架构这个领域的「系统映射研究 Systematic Mapping Study」的大致实现步骤。在「规划阶段」主要是定义目标，定义要解决的问题，以及解决问题的方法。

2.2 进行

在这一阶段，在上述搜索数据库中确定了主要研究。Scopus 返回了更多的研究 (638篇) 。IEEE、ACM 和 Wiley 分别返回168、594 和 25篇。图 2 显示了在每个搜索数据库中以及在阅读过程中应用纳入和排除标准后检索到的论文分布。从该初始组中，鉴定并除去了135个重复的研究。在选择阶段，根据部分阅读 (标题和摘要)，根据纳入和排除标准选择了149篇论文。阅读全文后，仅选择了89篇论文。我们希望尽可能保守一些，因此搜索语句已成为通用的，可以从电子数据库中检索许多研究，即使它在选择过程中会给我们带来更多的工作。许多论文被介绍为主要研究，但只有少数论文有更多的贡献或更大的影响。 

图2  论文分发 (进行阶段)

为了验证纳入标准和排除标准的应用，每项主要研究均由审阅者对部分 (标题和摘要) 和全部阅读材料进行评分。分数「0」表示拒绝，分数「1」表示接受。如有疑问，审稿人给论文打分「0.5」，并询问其他审稿人的相关性，以便可以通过采用「0」或「1」来达成共识。

评分过程是按顺序和独立的方式进行的，即一位审阅者对每篇论文进行阅读和评分，而不会受到其他论文的干扰。在部分阅读中，对所有论文进行评分，然后再对它们进行评分；在完全阅读中，审稿人会对它们再次进行分类，直到达成一组相关研究以回答研究问题为止。 

译注：分类方法从这里来看还是「体力活」

2.3 报告

本节基于所选的主要研究讨论了多租户架构 (MTA) 的概述。

2.3.1 RQ1：在当前文献中可以找到与多租户架构 (MTA) 相关的哪些研究主题？

为了阐明定量研究的重点，如上所述，我们根据论文领域定义了一些类别。图3显示了一个映射，其中包含根据出版年份和类别分布的主要研究的数量，可以对其中的一篇论文进行分类，并且可以对一个以上的类别进行分类。

安全性、测试活动和实验可能被认为是质量保证的重要问题，因此，这些问题属于质量保证类别。 

图3 按类别分布的主要研究

译注：从图3 比较容易看出来，多租户架构这个领域，主要的研究内容在「开发」、「性能」、「定制」、「质量保证」和「数据库」。这也说明，我们在考虑设计「多租户架构」的时候，至少需要关注这几个领域的内容，比如「数据库」，我们需要考虑针对不同租户，如何设计不同租户在数据库上的体现，后面有详细内容及相关论文。这类全貌性质的统计，有利于帮助我们在设计系统时的考虑全面。

图4 显示了从研讨会 (workshops)、期刊和会议中选择的论文的处理方式。会议占据主导地位，有63篇论文 (70.8％)；其次是期刊，有18篇论文 (20.2％) ；研讨会有8篇论文 (9％)。这可能表明仍需组建研讨会，让研究人员将其结果提交给更大范围的会议和期刊。

图4 来自研讨会，期刊和会议的精选论文数量

下一部分将讨论按图 3 所示类别组织的所选研究的主要思想。

a) 开发：架构、框架、需求和可变性管理以及从 Web 常规应用程序到多租户 SaaS 应用程序的迁移在当前的多租户文献中被提及为需要在未来研究中解决的重要问题。 

由于管理和维护成本的复杂性，SaaS 提供商通常为所有租户开发该应用程序的单个版本。Truyen等人[12] 评估了此类应用程序的面向上下文的编程 (COP)，旨在改善其开发过程。主要思想是允许为每个租户定制特定要求，从而在开发工作方面提供积极的成果。

需求管理是与某些租户提供令人满意的应用程序相关的困难之一。Walraven等[13] 提出了一种基于产品线和特定设置共存的替代方案，以简化需求管理。他们在一些多租户 SaaS 应用程序中使用了该方法，因此，减少了配置和组合变体应用程序的工作。

多租户 SaaS 应用程序旨在提供不同的设置，以功能需求的方式满足其租户的需求。但是，新租户需要与以前已经提供的不同的需求。一方面，可以开发新功能并将其包含在应用程序中，以便现有实例可以继续运行而不会失败。另一方面，在开发新功能时必须考虑与回归测试相关的成本[7]。

Kale 和 Borhade [14] 提供了一个框架，该框架涵盖了可移植性、定制性、安全性和可伸缩性等功能，旨在减少花费在软件开发上的时间。同样，Nam 和 Yeom [15] 提出了一个框架，以支持针对大量租户的不同服务。作者认为，尽管多租户架构 (MTA) 有很多好处，但是很少有过程可以支持多租户 SaaS 应用程序的开发。

Manduca 等人[16] 描述了一种使用传统 Web 应用程序中的单个数据库开发多租户 SaaS 应用程序的方法。它采用了架构组件和设计模式，并且无需进行实质性更改即可保持当前编程语言中的功能。作为一个难点，作者强调了平台文档，这通常不足以开发此类应用程序。译注：应该是说文档不好写，如果写得不好，开发会很难受。

表III列出了与调查的多租户 SaaS 应用程序开发相关的问题。由于篇幅所限，每期只显示一些论文。 

表III 有关多租户SaaS应用程序开发的主要问题

b) 性能：多租户架构 (MTA) 引入了与负载平衡和资源分配有关的新挑战，包括租户级别的请求、服务等级协议 (SLA)、性能目标和服务质量。Sun 等人 [18] 提出了一种适用于多租户环境的合适的负载均衡策略，以提供令人满意的服务质量。在数据库级别，Moon 等人 [19] 提出了一种用于多租户数据库的负载均衡器，以提高性能和租户之间的资源共享。Patikirikorala 等人 [20] 开发了一种使用非线性补充控制的方法，以根据不同的租户优先级，将不同租户的性能保持在不同的使用水平。它可以检测过载，因此可以动态控制更改租户操作。

Krebs 等人 [21] 扩展了一个称为 TPCW 的 Web 基准以包括多租户，并从两个角度比较了云的使用：(i) 多租户和 (ii) 虚拟化。考虑吞吐量、租户数量以及内存何时成为瓶颈，多租户的效率要高于虚拟化。

c) 定制：大量论文讨论了应用程序定制。解决大量租户的多租户 SaaS 应用程序应该可以实现大量的自定义[22]。复杂应用程序的定制是一个容易出错的任务，需要大量的人工工作，并且用户可能不了解定制方面的最佳选择。因此，作者对可定制 SaaS 应用程序的可能性进行了研究，并创建了半自动定制过程以减少工作量。

Ramachandran 等人 [23] 观察到，定制可能会导致高昂的调整成本。对于多租户系统，它涉及特定实例的配置和对租户的分配资源的管理。Walraven 等人认为 [24] ， 涉及应用程序核心变化的定制对于 SaaS 提供商来说是昂贵的，从而增加了额外的复杂性。

d) 质量保证：质量保证是多租户架构 (MTA) [25] 中一个有前途的研究主题，其中包括测试策略、度量标准和质量标准以及与安全性相关的替代方法。Tsai 等人 [8] 认为，多租户 SaaS 应用程序测试活动中的主要挑战之一，是处理大量的组合可能性和组件之间的交互。作者提供了一种组合测试方法来生成动态测试序列并实现较高的结构覆盖率。主要思想是通过算法识别可能导致故障的组件。当在某个应用程序实例中组成新组件时，该算法将揭示组件之间交互中的缺陷。

云计算模型的复杂性和缺乏标准化，已成为云提供商和客户而言的一个安全性的至关重要的问题。根据 Wood 等人 [26] 的研究，多租户直接影响应用程序的开发及其提供方式。Almorsy 等人 [27] 创建了一个框架来改善服务提供商和消费者之间的协作，并管理云平台及其托管服务的安全性。

表IV 列出了与多租户架构 (MTA) 相关的质量保证方面调查的主要问题。由于篇幅所限，每期只显示一些论文。 

表IV 有关多租户SaaS应用程序的质量保证的主要问题

e) 数据库：系统映射研究 (SMS) 中有19篇论文引用了与数据库相关的问题作为有前途的研究方向。Saraswathi 和 Bhuvaneswari [33] 提出了多租户数据架构的两种选择：

1. 一种与身份验证和授权有关的方法

2. 针对大规模应用程序的一种非侵入性方法

作者描述了一个应用它们的过程，并指导工程师开发数据库。

Maenhaut 等人 [34] 开发了一种以分层方式并考虑到一些性能指标的数据管理方法。解决的主要问题涉及将用户和数据分配到多个数据库实例中。Yaish 等人 [35] 讨论了基于数据库模式的访问控制模型。他们还提出了一种访问控制算法，使用户可以访问基于用户组或分配的角色授予的数据。 

译注：多租户架构在这五个主要类别有这些论文可以参考。

2.3.2 RQ2：与多租户 SaaS 应用程序的开发、测试和发展相关的主要研究挑战和机遇是什么？

尽管大多数研究都涉及多租户 SaaS 应用程序的开发，但是标准是分散的，并且通常不遵循有条不紊的方法。此外，这些解决方案是专有的，很少可互操作[25]。传统软件测试由于是针对本地单租户应用程序而设计的，因此无法应用于云环境中的测试应用程序[36]。

在测试多租户 SaaS 应用程序时应考虑以下几个问题：

1. 资源在租户及其最终用户之间共享

2. 每个变体应用程序都满足为租户设置的特定要求，就像在专用环境中一样执行，它可以由多个组件组成

3. 云提供商通过运行时引擎将变体应用程序交付给客户，该程序将租户自定义数据和特定的元数据编写到内核代码中。

因此，每个应用程序提供不同的表现和逻辑。

根据 Alkhatib 等人 [25] 的研究，社区仍然没有针对 SaaS 的有效质量指标，因此需要新的测试策略来应对云计算模型带来的挑战。必须建立解决交互接口的软件集成测试问题、验证方法和质量保证标准。由于系统高可用性对于 SaaS 是必不可少的，因此，每当为了改进或修正错误而更改软件时，就必须考虑多租户功能的重新测试技术。 

有关云计算测试的最新研究已解决了对非功能性需求 (例如性能和安全性) 的验证。考虑到选定的研究，我们已确定研究领域为：

1. 常规测试标准的调整

2. 定制组件的测试策略

3. 验证组合界面和影响新组件的替代方法

4. 回归测试方法需要行业和学术界之间更多的合作。

关于多租户 SaaS 应用程序的发展，社区仍未提供定义明确的方法。分布式系统的不断发展的活动，可能会为处理这些应用程序实例的隔离执行提供指导。

译注：原文发表于 2016 年，不知道最近 4 年是否有相关的进展。

2.3.3 研究议程：为了指导未来在多租户领域的研究，本节介绍了本研究确定的主要趋势，如下：

开发过程。大多数有关开发过程的选定研究都提出了没有实际评估的解决方案或过程。指导基于云的应用程序开发的系统方法需要更多的研究工作，尤其是考虑到多租户的情况。

质量指标。度量标准用于在软件质量评估期间指导管理人员。尽管有许多研究提到它们的重要性，但在这种情况下仍然缺乏质量指标。 

测试活动。很少有组织和学院提供安全测试、恢复测试、容错测试或其他替代方案来涵盖 SaaS 的多租户的复杂性。另外，缺乏标准来驱动可互操作的测试工具的开发。从我们的角度来看，针对多租户 SaaS 系统的理想测试环境需要在运行时支持特定于租户的应用程序的测试，而又不影响其他应用程序。为此，应仔细考虑两个主要问题：(i) 通过动态编译器生成变体应用程序，该编译器将特定于租户的元数据和自定义数据组合到内核代码中；(ii) 租户可以根据他们的关注来应用更改。因此，重要的是要确保测试不会对其他租户产生副作用。一种可能的测试策略是生成我们要测试的变体应用程序，执行其隔离并进行测试活动，而不会导致其他应用程序不可用。

持续验证。尽管云环境中的按需软件验证包括回归测试和应用程序中的频繁更改，但是大多数回归测试研究都集中在重新测试先前配置的测试环境中的版本。但是，验证方法必须是动态的才能处理多租户。 

评估测试技术和标准的实证研究。缺少关于在SaaS系统的上下文中考虑测试目标时应使用哪种测试技术和标准的指南。有必要知道这些技术和标准的可用性，有效性和成本。我们已经观察到缺乏经验研究来评估云计算领域中技术和测试标准的使用。此外，许多研究人员认为，传统的软件测试不能令人满意地应用于测试云计算应用程序。发生这种情况是由于这些应用程序的隐式特性，例如高自定义功能，动态环境和多租户。

迁移过程。引导从传统的 Web 迁移到多租户 SaaS 模型的合并过程可以为仅多用户模型还不够的应用程序采用该模型做出贡献。

3 有效性的威胁

---

主要研究的选择。为了确保选择过程的公正性，定义了研究问题，并指定了获得相关研究的排除和纳入标准。但是，尽管通过基于相关性的评分分配选择了研究，但是从质量评估的角度不能排除威胁。(还是有) 未选择的相关的主要研究。尽管很多资料被用于基础研究的选择，但有些资料可能被忽略了。我们试图通过从云计算的主要科学来源中，选择对研究进行索引的来源并涵盖大多数相关论文来减少这种威胁。

审稿人的可靠性。参与本研究的所有审稿人都在云计算方面工作。该方案由专家评估，因此可以避免分析过程中的偏差。

数据提取。值得一提的是，并非所有信息都可以回答研究问题。查阅了多个来源，如外部文件和技术报告，以确保过程的有效性。如果审稿人之间存在分歧，则请专家来保证正确的决定。

4 结束语

---

软件即服务是一种通过 Internet 将服务作为多个客户交付应用程序的方式。从服务提供商的角度来看，要提供的计算资源必须广泛共享。对于用户而言，根据他们的特定要求自定义应用程序很重要。在这种情况下，一种称为多租户的架构模式正在云上的应用程序空间中获得更多的应用。

为了提供有关 SaaS 系统多租户的研究主题的映射并发现新的研究机会，我们进行了系统映射研究 (SMS)，其中选择了 89 项主要研究进行讨论。我们定义了两个研究问题来反映研究的范围，并定义了五个分类来描述研究的贡献和挑战。

这项映射研究还指出，需要进行实验研究以评估所提出的方法，并需要一种系统的测试策略来扩展不同的技术以提高这些应用程序的质量。在未来的研究中，我们打算将这项工作中确定的证据与工业云项目的证据进行比较，以定义新的假设，这将指导测试多租户 SaaS 应用程序的方法的定义。

译注：通过这篇「系统映射研究 SMS」，大致上能够搞清楚，在至少 2016 年及以前 (原文发表于 2016 年)，多租户架构这个领域比较关键的几个研究方向或者说需要关注的几个方面是：「开发」、「性能」、「定制」、「质量保证」和「数据库」；「未来」的几个研究方向是「开发过程」、「质量指标」、「测试活动」、「持续验证」、「评估测试技术和标准的实证研究」、「迁移过程」等。对整个多租户领域有个全貌认识，后续考虑设计系统的某个方面，可以找到对应领域的论文作为参考。

参考

---

• [1] J. Ru and J. Keung, “An empirical investigation on the simulation of priority and shortest-job-first scheduling for cloud-based software systems,” in Software Engineering Conference. IEEE, 2013, pp. 78–87.

• [2] S. Tai, J. Nimis, A. Lenk, and M. Klems, “Cloud service engineering,” in 32nd Int. Conf. on Software Engineering, 2010, pp. 475–476.

• [3] P. Mell and T. Grance, “The nist definition of cloud computing,” NIS, Tech. Rep., 2010.

• [4] L. M. Vaquero, L. Rodero-Merino, J. Caceres, and M. Lindner, “A break in the clouds,” ACM Computer Communication Review, vol. 39,no. 1, p. 50, 2008. [Online]. Available: http://dl.acm.org/citation.cfm?id=1496091.1496100

• [5] I. Chana and P. Chawla, “Testing perspectives for cloud-based applications,” in Software Engineering Frameworks for the Cloud Computing Paradigm. Springer, 2013, pp. 145–164.

• [6] C.-P. Bezemer and A. Zaidman, “Multi-tenant saas applications: Maintenance dream or nightmare?” in Work. on Software Evolution and Int. Work. on Principles of Software Evolution, 2010, pp. 88–92.

• [7] B. Sengupta and A. Roychoudhury, “Engineering multi-tenant softwareas-a-service systems,” in 3rd Int. Work. on Principles of Engineering Service-Oriented Systems, 2011, pp. 15–21.

• [8] W.-T. Tsai, Q. Li, C. J. Colbourn, and X. Bai, “Adaptive fault detection for testing tenant applications in multi-tenancy saas systems,” in IEEE Int. Conf. on Cloud Engineering, 2013, pp. 183–192.

• [9] B. Kitchenham, “Procedures for performing systematic reviews,” Keele University, Tech. Rep., 2004.

• [10] S. Kang, J. Myung, J. Yeon, S.-w. Ha, T. Cho, J.-m. Chung, and S.- g. Lee, “A general maturity model and reference architecture for saas service,” in Database Systems for Advanced Apps., 2010, pp. 337–346.

• [11] J. Ru, J. Grundy, and J. Keung, “Software engineering for multi-tenancy computing challenges and implications,” in Int. Work. on Innovative Soft. Dev. Methodologies and Practices, 2014, pp. 1–10.

• [12] E. Truyen, N. Cardozo, S. Walraven, J. Vallejos, E. Bainomugisha, S. G¨unther, T. D’Hondt, and W. Joosen, “Context-oriented programming for customizable SaaS applications,” in 27th ACM symposium on applied computing, 2012, pp. 418–425.

• [13] S. Walraven, D. Van Landuyt, E. Truyen, K. Handekyn, and W. Joosen, “Efficient customization of multi-tenant software-as-a-service applications with service lines,” JSS, vol. 91, pp. 48–62, 2014.

• [14] S. S. Kale and R. H. Borhade, “Development of multitenant saas framework at single instance and with zero effort multitenancy,” in Advances in Computing, Communications and Informatics (ICACCI). IEEE, 2013, pp. 834–839.

• [15] T. Nam and K. Yeom, “Ontology model to support multi-tenancy in software as a service environment,” in Int. Conf. on Future Internet of Things and Cloud, 2014, pp. 146–151.

• [16] A. M. Manduca, E. V. Munson, R. P. Fortes, and M. G. C. Pimentel, “A nonintrusive approach for implementing single database, multitenant services from web applications,” in 29th ACM Symposium on Applied Computing, 2014, pp. 751–756.

• [17] P. Morakos and A. Meliones, “Design and implementation of a cloud saas framework for multi-tenant applications,” in 5th Int. Conf. on Information, Intelligence, Systems and Applications, 2014, pp. 273–278.

• [18] H. Sun, T. Zhao, Y. Tang, and X. Liu, “A qos-aware load balancing policy in multi-tenancy environment,” in 8th Int. Symposium on Service Oriented System Engineering, 2014, pp. 140–147.

• [19] H. J. Moon, H. Hacigumus, Y. Chi, and W.-P. Hsiung, “Swat: A lightweight load balancing method for multitenant databases,” in 16th Int. Conf. on Extending Database Technology, 2013, pp. 65–76.

• [20] T. Patikirikorala, I. Kumara, A. Colman, J. Han, L. Wang, D. Weerasiri, and W. Ranasinghe, “Dynamic performance management in multitenanted business process servers using nonlinear control,” in Int. Conf. on Service-Oriented Computing, 2012, pp. 206–221.

• [21] R. Krebs, A. Wert, and S. Kounev, “Multi-tenancy performance benchmark for web application platforms,” in Int. Conf. on Web Eng., 2013, pp. 424–438.

• [22] W.-T. Tsai and X. Sun, “SaaS multi-tenant application customization,” in IEEE 7th Int. Symposium on Service Oriented System Engineering, 2013, pp. 1–12.

• [23] L. Ramachandran, N. C. Narendra, and K. Ponnalagu, “Dynamic provisioning in multi-tenant service clouds,” Service Oriented Computing and Applications, vol. 6, no. 4, pp. 283–302, 2012.

• [24] S. Walraven, E. Truyen, and W. Joosen, “A middleware layer for flexible and cost-efficient multi-tenant applications,” in Int. Conf. on Middleware. Springer, 2011, pp. 370–389.

• [25] H. Alkhatib, P. Faraboschi, E. Frachtenberg, H. Kasahara, D. Lange, P. Laplante, A. Merchant, D. Milojicic, and K. Schwan, ““IEEE CS 2022 report”,” IEEE Computer Society, Tech. Rep., 2014.

• [26] K. Wood and M. Anderson, “Understanding the complexity surrounding multitenancy in cloud computing,” in IEEE 8th Int. Conf. on e-Business Engineering, 2011, pp. 119–124.

• [27] M. Almorsy, J. Grundy, and A. S. Ibrahim, “Collaboration-based cloud computing security management framework,” in IEEE Int. Conf. on Cloud Computing, 2011, pp. 364–371.

• [28] W.-T. Tsai, Q. Shao, Y. Huang, and X. Bai, “Towards a scalable and robust multi-tenancy SaaS,” in Asia-Pacific Symp. on Internetware, 2010, p. 8.

• [29] E. Saleh, J. Sianipar, I. Takouna, and C. Meinel, “Secplace: A securityaware placement model for multi-tenant SaaS environments,” in Int. Conf. on Ubiquitous Intell. and Comp., 2014, pp. 596–602.

• [30] M. Almorsy, J. Grundy, and A. S. Ibrahim, “Tossma: A tenant-oriented saas security management architecture,” in IEEE 5th Int. Conf. on Cloud Computing, 2012, pp. 981–988.

• [31] K. Zhang, Q. Li, and Y. Shi, “Data privacy preservation during schema evolution for multi-tenancy applications in cloud computing,” in Web Information Systems and Mining. Springer, 2011, pp. 376–383.

• [32] Q. He, J. Han, Y. Yang, J. Grundy, and H. Jin, “Qos-driven service selection for multi-tenant saas,” in Int. Conf. on Cloud Computing, 2012,  pp. 566–573.

• [33] M. Saraswathi and T. Bhuvaneswari, “Multitenant SaaS model of cloud computing: Issues and solutions,” in Communication and Network Technologies. IEEE, 2014, pp. 27–32.

• [34] P.-J. Maenhaut, H. Moens, M. Decat, J. Bogaerts, B. Lagaisse, W. Joosen, V. Ongenae, and F. De Turck, “Characterizing the performance of tenant data management in multi-tenant cloud authorization systems,” in Network Operations and Management Symposium (NOMS), IEEE, 2014, pp. 1–8.

• [35] H. Yaish and M. Goyal, “A multi-tenant database architecture design for software applications,” in ICCSE, 2013, pp. 933–940.

• [36] Z. Mahmood and S. Saeed, Software engineering frameworks for the cloud computing paradigm. Springer, 2013. 

---本文完---