性价比一直是数据仓库中唯一重要的东西

最新推荐文章于 2024-05-04 17:51:51 发布

Yellowbrick Data

最新推荐文章于 2024-05-04 17:51:51 发布

阅读量324

点赞数 1

文章标签：数据仓库数据库架构 dba

原文链接：https://www.yellowbrick.com/blog/price-performance-is-the-only-thing-that-matters-in-data-warehousing/

版权

随着数据驱动的决策现在需要几乎即时的洞察力，数据仓库的性能是至关重要的，现在供应商之间的竞争基准是血腥的。一个鲜为人知的秘密是，可扩展的性能（查询延迟、并发性、加载/测试速度）总是可以实现的--如果你能为它付费的话。

传统的平台供应商提供昂贵的、不灵活的架构来执行这样的需求，这些架构需要不断地进行扩展升级和性能调整。同样，纯云供应商（例如Snowflake）将他们的业务建立在公共云基础设施和基于消费的定价上，这让他们没有动力，也没有能力提供良好的性价比（又称，你花钱买的性能）。"第一次试用总是免费的"，但一旦你需要为超过10个用户提供可靠的良好性能时，请注意你的钱包。

我们认为，客户应该得到更好的服务。让我们深入了解一下。

设计的目的

历史告诉我们，可扩展的性能需要专门的基础设施来快速处理数据。打个比方，想想一条多车道的高速公路，经常有大量的交通。如果你是一个交通工程师，你有两个选择来增加汽车的吞吐量。

- 建立更多的车道。这种方法可以无限扩展，但非常昂贵，而且会消耗大量的空间。

- 取消所有的交叉口，尽量减少转弯，并保持平坦的路面。这种方法通常会使交通流更快，但它是高度复杂和劳动密集型的。

但是，即使你做了这些事情中的一个（或两个），糟糕的司机和缓慢或不可靠的车辆仍然会导致延误。只有当所有的司机都是专业的，所有的汽车都是快速和可靠的，道路得到很好的维护，并且汽车的数量与公路的宽度得到仔细的平衡时，才有可能实现最佳的流量。这种策略最大限度地减少了空间，优化了吞吐量，降低了成本，并提高了安全性。显然，你不会从一个很少考虑这些结果的通用方法中得到这些。

只有当所有的司机都是专业的，所有的汽车都是快速和可靠的，道路得到很好的维护，并且汽车的数量与公路的宽度得到仔细的平衡时，才有可能实现最好的流动。

这就是为什么数据处理的价格/性能突破总是来自于工程系统。通用基础设施，如Snowflake和其他公共云选择使用的基础设施，不能提供多核CPU所需的所有数据，以实现快速的数据处理规模--所以对更多计算的无尽需求为客户创造了一个价格/性能墙。回到我们的比喻，只有将系统创新（简化道路）与软件功能（如高级工作负载管理）相结合的工程解决方案（隔离不良司机/低速车辆并智能控制汽车数量）才能避免这堵墙。

交通工程问题：建造更多的车道或消除瓶颈是昂贵、复杂和/或劳动密集型的，但仍然可能无法改善交通流量

价格/性能的障碍

像Netezza、Teradata和Oracle这样的老牌企业通过建立设备采取了工程系统的方法，其中一些设备一度成为性能的黄金标准。问题是，他们从来没有对他们的架构进行现代化改造，以便以更低的价格提供更好的性能，而是要求客户通过昂贵的维护和升级来加倍使用老化的平台。

但这是像Snowflake这样的纯公有云供应商没能学到的教训。如果没有硬件加速器，提供峰值性能的唯一方法是以峰值价格旋转更多的虚拟机。(你必须旋转多少个虚拟仓库才能保证你的Snowflake不被融化）。) 公共云供应商已经承认了原始性能的挑战，为他们自己的服务提供裸机实例和定制加速器，但只是价格昂贵。(2020年12月7日编辑。而现在，甚至AWS也开始参与其中，并表现出明显的热情）。)

由于这些陷阱，数据仓库评估人员必须非常关注价格/性能。否则，随着他们的要求，如数据量和终端用户数量的增加，他们最终将支付远远超过预期的费用。

拒绝错误的选择

好消息是，你不再需要在昂贵的、扩大规模的传统平台（整顿道路）和昂贵的、仅有公共云的选项（建立更多的车道）之间做出错误的选择。相反，你可以用Yellowbrick数据仓库解决性价比问题，这是第一个为从TB级到PB级数据的内存速度而设计的数据仓库PaaS，在存储、内核/驱动程序、数据路径和数据库层进行了优化。通过这种方法，消除了与传统架构相关的查询延迟、处理能力和并发性方面的限制。由于高密度闪存和NVMe存储，Yellowbrick解决方案还具有极高的成本效益，使价格--以及运营费用（如果适用）--远远低于其他方案。其结果是一个无与伦比的性价比。