大数据多租户的概念_一种支持多租户的大数据平台及租户访问方法

一种支持多租户的大数据平台及租户访问方法

【技术领域】

[0001]本发明涉及大数据技术领域，特别涉及一种支持多租户的大数据平台及租户访问方法。

【背景技术】

[0002]在大数据时代，为了存储和处理海量数据，需要规模较大的服务器集群，一般说来，这些集群上运行着数量众多类型纷杂的应用程序和服务，比如离线作业，流式作业，迭代式作业等，传统的做法是，每种类型的作业或者服务对应一个单独的集群，以避免相互干扰。这样，集群被分割成数量众多的小集群，由于不同类型的作业/服务需要的资源量不同，这些小集群的利用率通常很不均衡，有的集群满负荷、资源紧张，而另外一些则长时间闲置、资源利用率极低。

[0003]因而现有技术还有待改进和提高。

【发明内容】

[0004]本发明要解决的技术问题在于，针对现有技术的不足，提供一种支持多租户的大数据平台及租户访问方法，其能够解决现有每种类型的作业或者服务对应一个单独的集群，而造成的小集群的利用率不均衡的问题。

[0005]为了解决上述技术问题，本发明所采用的技术方案如下:

一种支持多租户的大数据平台，其包括:hadoop集群、管理模块和登录模块；

所述hadoop集群用于部署多个业务；

所述管理模块设置于hadoop集群上，用于验证租户访问hadoop的权限，并根据所述权限进行相应操作；

所述登录模块用于获取租户登录请求，验证租户信息。

[0006]所述登录模块用于管理租户操作数据、提交任务请求和查看任务进度。

[0007]所述管理模块包括:权限管理模块、任务调度模块和资源管理模块；

所述权限管理模块，用于管理多租户的权限，根据不同租户授权，系统管理员配置租户与数据、租户与应用的对应关系；

所述任务调度模块，用于管理员设置任务的调度规则，根据任务调度规则执行工作任务，并监控任务的执行情况；

所述资源管理模块，用于系统管理员根据租户分配集群资源，多租户之间按分配使用存储资源和计算资源。

[0008]所述资源管理模块还用于为多租户划分独立的存储空间来实现租户之间的数据隔离，将每个租户的数据信息存储在独立的存储空间中，每个租户数据模型的更改不会影响其他租户的数据。

[0009]所述权限管理模块还用于委派给不同管理员对不同数据集设置权限。

[0010]一种租户访问大数据平台方法，所述租户访问上述大数据平台，其具体包括: A、租户通过统一登录模块登录hadoop集群；

B、租户登录成功后，向hadoop集群发送任务请求；

C、管理模块的权限管理模块验证租户是否具有访问任务用到的数据的权限和使用任务用到资源的权限；

D、租户通过验证后，在hadoop集群上执行任务。

[0011 ] 所述步骤C，其具体为:

Cl、管理模块的权限管理模块验证租户是否具有访问任务用到的数据的权限；

C2、当租户具有访问数据权限，管理模块的权限管理模块验证租户是否具有使用任务用到资源的权限。

[0012]有益效果:与现有技术相比，本发明所提供支持多租户的大数据平台，其包括:hadoop集群、管理模块和统一登录模块；所述hadoop集群用于部署多个业务；所述管理模块设置于hadoop集群上，用于管理员管理多租户访问数据和资源的权限，所述统一登录模块用于多租户登录访问hadoop集群。本方法将多个业务统一部署在一个集群上，通过在hadoop集群上设置管理模块和统一登录模块，实现hadoop集群的多租户模式，让多租户同时使用统一的大数据平台，建立统一的调度平台，实现了数据的统一化管理。从根本上解决了现有每种类型的作业或者服务对应一个单独的集群，而造成的小集群的利用率不均衡的问题。

【附图说明】

[0013]图1为本发明提供支持多租户的大数据平台示意图。

[0014]图2为本发明提供支持多租户的大数据平台具体实施例示意图。

[0015]图3为租户访问大数据平台的流程图。

【具体实施方式】

[0016]本发明提供一种支持多租户的大数据平台及租户访问方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0017]下面结合附图，通过对实施例的描述，对

【发明内容】

作进一步说明。

[0018]请参见图1，图1为本发明提供一种支持多租户的大数据平台示意图。所述平台包括:hadoop集群、管理模块和登录模块；所述hadoop集群用于部署多个业务；所述管理模块设置于hadoop集群上，用于验证租户访问hadoop的权限，并根据所述权限进行相应操作；所述登录模块用于获取租户登录请求，验证租户信息。

[0019]在本实施例中，所述hadoop集群为单一集群，将多个业务部署在集群上，其可以满足多个租户的不同需求。多个业务可以是多种作业方式，也可以是多个服务等。这里不做限定，仅以作业方式为例，其可以为离线作业、流式作业、迭代式作业等。

[0020]进一步，所述登录模块用于管理租户操作数据、提交任务请求和查看任务进度等。租户可以通过登录模块在登录后，提交任务请求，操作公共数据和查询任务进度；还可以对任务进度进行反馈和催告等。

[0021]在本实施例中，所述管理模块包括:权限管理模块、任务调度模块和资源管理模块。所述权限管理模块，用于管理多租户的权限，根据不同租户授权，系统管理员配置租户与数据、租户与应用的对应关系；所述任务调度模块，用于管理员设置任务的调度规则，根据任务调度规则执行工作任务，并监控任务的执行情况；所述资源管理模块，用于系统管理员根据租户分配集群资源，多租户之间按分配使用存储资源和计算资源。其中，所述的系统管理员配置租户与数据、租户与应用的对应关系，系统根据租户的权限，为租户配置相应的数据和应用，可以按照租户的权限越高，可以访问的数据和资源就越多的关系进行对应。这样，可以通过管理模块验证多租户的访问权限，根据其访问权限调用相应的数据和资源；使得不同租户可以通过管理模块的限制，在同一个hadoop集群上完成不同的业务，实现了hadoop集群的多租户模式，让多租户同时使用统一的大数据平台，并且通过管理模块限制，为大