IRIS 2021 技术文档 First Look -- 技术概要：部署 InterSystems 分片集群

本文档将您介绍InterSystems IRIS®数据平台的分片(sharding)功能，以及它在分片集群中的使用，以水平扩展 InterSystems IRIS 的数据量。

作为本指南的一部分，您将使用 ICM 在公共云中提供的分片集群，并了解分片表(sharding a table)如何在集群中的分片之间分布其行。作为本指南的一部分，您将使用 ICM 在公共云中提供的分片集群，并了解分片表(sharding a table)如何在集群中的分片之间分布其行。作为本指南的一部分，您将使用 ICM 在公共云中提供的分片集群，并了解分片表(sharding a table)如何在集群中的分片之间分布其行。

分片(Sharding)如何帮助您？

您感受到大数据(Big Data)的热度了吗？

无论是否准备好了，我们都在管理比以往任何时候都多的数据，并被要求用这些数据做更多的事情——所需的响应时间也越来越短。无论您是照顾一千万名患者、每天处理数十亿的金融订单，追踪一个星系的恒星，还是监控一千个工厂的引擎，数据平台不仅要支持您目前的数据工作量，而且还必须在保持性能的同时进行扩展(Scale)，以满足不断增长的需求，避免业务中断。每个特定业务的工作量对其运行的数据平台提出了不同的挑战 — 而随着工作量的增加，这些挑战将变得更加严峻。

InterSystems IRIS 包含一套全面的功能来扩展(Scale)您的应用程序，这些功能可以单独或组合应用，这取决于您的工作量的性质和它所面临的特定性能挑战。其中之一是分片(sharding)，它在多个服务器上对数据及其相关缓存进行分区，为查询和数据摄取提供灵活、价优的性能扩展，同时通过高效的资源利用使基础设施价值最大化。InterSystems IRIS 分片集群(sharded cluster) 可以为各种应用程序提供显著的性能优势，特别是对于那些工作量包括以下一项或多项的应用程序：

• 高容量或高速数据摄入，或组合。
• 相对较大的数据集，返回大量数据的查询，或两者兼有。
• 执行大量数据处理的复杂查询，例如扫描磁盘上的大量数据或涉及大量计算工作的查询。

这些因素各自都会影响分片(sharding)的潜在收益，但如果将它们结合起来，收益可能会得到增强。例如，所有这三个因素的组合——快速摄入的大量数据、大型数据集以及检索和处理大量数据的复杂查询——使得如今的许多分析工作量非常适合进行分片(sharding)。

请注意，这些特征都与数据有关；InterSystems IRIS 分片(sharding)的主要功能是扩展数据量(sharded cluster)。但是，当涉及部分或所有这些数据相关因素的工作量也经历了来自大量用户的非常高的查询量时，分片集群也可以包括扩展用户量(scale for user volume)功能。分片(sharding)也可以与垂直扩展相结合。通过 InterSystems IRIS，您可以为工作量的性能挑战创建恰到好处的整体扩展解决方案。

 

分片(Sharding)是如何工作的？

分片架构的核心是跨多个系统对数据及其相关缓存进行分区。分片集群将大型数据库表水平(即按行)划分为多个 InterSystems IRIS 实例，称为数据节点(data node)，同时允许应用程序通过这些实例中的任何一个访问这些表。每个数据节点在集群分片数据中的份额被称为分片(shard)。这种架构有三个优势：

• 并行处理(Parallel processing)

查询在数据节点上并行运行，合并查询结果，并作为完整的查询结果返回给应用程序，在许多情况下显著提高了执行速度。

• 分区缓存(Partitioned caching)

每个数据节点都有自己的专用缓存，而不是由单个实例的缓存为整个数据集服务，这大大降低了缓存溢出和强制降低性能的磁盘读取的风险。

• 并行加载(Parallel loading)

数据可以并行加载到数据节点上，从而减少摄取工作量和查询工作量之间的缓存和磁盘争夺，提高两者的性能。

一个被称为分片管理器(sharding manager)的联合软件组件会跟踪哪些数据位于哪些数据节点上，并相应地指导查询。非分片数据存储在配置的第一个数据节点上，称为数据节点数据节点 1 (它也存储代码和元数据)。从应用程序 SQL 的角度来看，分片表(sharded table)和非分片表(nonsharded table)之间的区别是完全透明的。

图 1: 一个基本的分片集群     

试一试！部署和演示