TDC 5.0：多集群统一纳管，构建一体化大数据云平台

近期，星环科技数据云平台Transwarp Data Cloud（简称TDC）5.0版本正式发布，TDC5.0架构屏蔽底层多个TDH集群的差异，采用统一操作模式，新增一个多集群抽象与管理层，能够实现多集群网络互通、跨集群资源调度。

TDC 是基于云原生技术的数据云平台，星环科技对它的调度、存储、网络全部进行了优化，使用星环科技自己的调度系统、本地存储系统、虚拟网络；操作系统上一层是多集群管理；第三层是数据云管理平台，实现了多租户、多用户，包括统一的应用生命周期管理；再上一层是星环科技提供的各类大数据产品目录，包括各种数据库、数据科技平台、开发平台，以及TKH企业级知识平台；图中左和右分别是面向企业数据应用的开发和数据应用的部署托管，做到了面向企业的数据以及数据应用在一个平台上提供，因此，TDC是企业级面向数据全生命周期管理的云原生PaaS平台。

TDC 5.0 版本新增多集群抽象与管理层，可在一个控制台上对所有的集群应用做生命周期的管理、统一的运维、运营和配置。TDC5.0 在多个TDH集群之上实现了多租户的功能，能在多TDH集群上建立租户，把租户和集群进行解耦。举个例子，租户1可以使用集群1、2、3、4的资源，在线查询业务本身大部分运行在集群3上，在白天忙的时候，如果集群1有资源，可以把负载调度在集群1上进行部署。

TDC 5.0 版本满足用户四大需求

第一，集群能统一管理，实现多个集群统一管理，用户只需登录一个控制台就可以看到多个集群情况，应用的运行情况、版本情况，以实现多集群应用的统一管理等。

第二，资源能统一调度，能够跨多个集群复用资源，实现多个集群的资源更均衡地使用。

第三，数据能统一管理，实现跨集群的数据灵活共享，比如Nocopy的数据共享，保证数据的新鲜性。

第四，面向新业务上线时，可提供多租户方式，快速地启动一个虚拟集群部署业务。

举了个例子来说明，比如有TCOS1和TCOS2两个集群，要实现的第一个目标是在集群1负载比较重的时候，不管是存储资源还是计算资源不足都要扩容。此时，如果TCOS集群是一个新建的，甚至是一个异构的，比如满足新上的ARM集群，可以把存储资源TDDMS Tabletserver在这上面增加三个副本，HDFS可以把DataNode增加副本，对应的把Executor也在这个节点上部署起来，就好像为这个集群增加扩容一样，这样就实现了计算类的组件和存储类的组件都在资源富足的集群上进行跨集群的扩容，达到这个目的之后，TDC 能在跨集群对已有的组件进行扩容，提升集群整体使用率，也均衡了不同集群之间使用率的差别。

另外一种情况，我们希望资源的扩展是自动的，以适应不可预见的负载变化。例如，TDH集群2用于在线查询，而TDH集群3则服务于金融行业的客户案例，这些案例需要全天候24小时不间断的服务，并且对响应时间非常敏感。在白天，批处理集群的负载通常较低，而其他集群可能负载较高。在常规部署中，存储和计算资源是预设的固定数量。当某集群的负载增加时，如果其他集群的资源仍有剩余，我们可以通过设置弹性伸缩策略来优化资源分配。第一，我期望对计算执行引擎增加多少副本；第二，增加到哪个集群之上。

配置好策略后，我们可以采用两种策略来实现资源的自动扩展。第一种是基于时间的策略，例如，从早上8点开始，如果在线查询活动增多，我们可以为系统自动增加三个计算执行引擎。第二种是基于负载的策略，这会考虑整个服务器的计算引擎负载情况，包括任务队列的长度、排队情况、等待时间，以及CPU和内存的利用率。通过综合这些因素，系统可以决定是否需要增加计算资源。

根据这些策略，系统可能会在资源有空闲的集群上增加计算执行引擎。例如，如果Quark Server2和Quark Server3在特定时间点有可用资源，系统就会分别为它们增加一组计算执行引擎。这样，我们就实现了资源的弹性伸缩，能够根据实际需求动态调整计算能力。

举了个例子来说明，比如有TCOS1和TCOS2两个集群，当TCOS1集群负载过重时，需要扩容，则可以使用TCOS2集群的资源，通过增加TDDMS Tabletserver副本、HDFS DataNode和Executor来实现跨集群扩容，从而提升整体使用率，并平衡不同集群的使用。

另外一种情况，我们希望资源扩展能够自动进行，以适应不可预见的负载变化。比如，在线查询服务，需要全天候服务且对响应时间敏感，可以通过弹性伸缩策略，在其他集群资源有剩余时，自动调整资源分配。

我们有两种策略来实现资源的自动扩展：基于时间的策略，在查询活动增多的时间段，如早上8点，自动增加计算执行引擎；基于负载的策略：根据服务器的计算引擎负载、任务队列、CPU和内存利用率等因素，决定是否增加计算资源。

TDC数据云平台，一方面可承载星环科技已有的大数据产品，现在已经扩展到了数据流通交易，包括数据应用的开发，另外可以托管企业已有的开源组件。截至目前，星环科技数据云平台 TDC 已经在数十家大型企业落地，覆盖金融、政府、交通、能源，运营商等多个行业。