使用Alluxio和Intel® Optane™持久内存加速和扩展大数据分析

于 2020-09-30 00:16:44 发布
阅读量481 收藏
点赞数
文章标签： spark hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alluxio/article/details/108878158
版权

国际数据公司（InternationalData Corporation, IDC）报告称，全球数据容量将从2018年的33 ZB(zettabytes)增长到2025年的175 ZB。随着数据增长的多样性和快速性，这种趋势变得越来越复杂，并且它还不断改变着数据收集，存储，处理和分析的方式。基于机器学习、深度学习、人工智能（AI）、新架构、新工具等方法的新分析解决方案正在开发中，以便从庞大的数据领域中提取和交付价值。

在这些解决方案中，计算和存储的分离架构变得越来越有吸引力，因为它使得公司能够独立扩展存储容量以便匹配计算的增长率，从而减少了资产支出和运维支出。但是，这种分离架构会引起某些类型工作负载的性能损失。我们之前的工作表明，由于常用的云适配器不支持事务写入，因此计算和存储的分离可能导致性能下降60%。

Intel® Optane™持久内存（Persistent Memory, PMem）是一项创新的内存技术，它引入了一个介于内存和存储之间的新类别，将可负担的大容量与对数据持久性的支持完美地结合在一起。用户能够在可承受的成本范围内构建更大的持久性内存层，为各种工作负载提供灵活的（包括易失性或非易失性）高性能存储层，包括但不限于云中虚拟机，内存数据库等。Intel®Optane™持久内存有两种不同的操作模式：Memory模式和APP Direct模式。

我们构建了一个由Alluxio和Intel Optane持久内存组成的新解决方案，并运行了一些测试性能的基准。您可以在下文找到相关的概述和结果。此外，您可以在我们编写的白皮书中获得更多详细信息。

Alluxio + Intel Optane持久内存

Alluxio和Intel的联合PMem层解决方案使得公司能够将本地仓库和云数据仓库统一到一个基于云的数据层中，提高了数据的可访问性和弹性，同时消除了对副本的需求，从而降低了复杂性和成本，提高了速度和灵活性。新的PMem层可以加速数据访问并消除数据瓶颈。

Alluxio作为一个位于计算与存储之间的开源编排层，可以通过使数据靠近计算来帮助提高各种工作负载的性能。借助Alluxio智能多层级架构，Intel® Optane™ PMem非常适合构建基于PMem的层，从而进一步提高性能和降低成本。我们的工作表明，AlluxioPMem层在相同成本的配置下展示了比DRAM层显著的性能提升：在SoAD模式下，PMem层相比不使用缓存配置速度提升2.13倍，在4TB决策支持工作负载的情况下（parquet格式）相比DRAM层速度提升1.92倍；在Memory模式下，PMem层相比不使用缓存配置速度提升1.24倍，在4TB决策支持工作负载的情况下相比DRAM层速度提升1.12倍[DMH1]（parquet格式）。

基准与设计

Alluxio PMem层的设计

Memory模式下的旧版存储API，使用旧版存储API的应用程序不需要修改代码，这使得SoAD模式和Memory模式的PMem非常适用于Alluxio的智能多层级架构。利用Alluxio当前架构，通过在Memory模式下将其配置为内存层，在SoAD模式下将其配置为SSD层，可以轻松地在Alluxio中启用Intel®Optane™PMem。与DRAM相比，更大的容量使得Alluxio PMem层在Memory模式下可以缓存更多数据与增加更多工作负载。与SSD相比，更高的吞吐量使得Alluxio PMem层在SoAD模式下提供了更高的吞吐量。这个新的基于PMem的层为Alluxio创建了一个高性能、低成本的存储层。

Alluxio PMem层的性能

为了评估PMem层的性能，我们在一个由两个计算节点和三个存储节点构建的五节点环境中进行了多项不同配置的测试。每个计算节点都配备了两个Intel®Xeon® gold 6240处理器，并配备了相同成本的不同DRAM和PMem，以便进行ISO成本比较。对于DRAM，使用24x 32GB内存；对于PMem，使用8x 128GB PMem。对于存储节点，每个节点都配置了11个1TB硬盘用作数据存储。Ceph被用作分离对象存储系统，通过s3a连接器连接到Hadoop环境。Hadoop 3.1.2和Spark 2.3.0部署在计算节点上。下图显示了系统的拓扑结构。
在这里插入图片描述

测试方法

决策支持工作负载是一种典型的工作负载，可对决策支持系统的多个方面进行建模，包括查询和数据维护。我们为测试选择了54个代表Hadoop中典型SQL查询行为的查询。测试包括三种不同的配置：不使用Alluxio、PMem上的Alluxio、DRAM上的Alluxio。PMem的测试采用SoAD模式和Memory模式。进行了多轮测试，并选择中位数结果以降低结果差异。下图为SoAD模式下Alluxio PMem层的性能表现
在这里插入图片描述

Alluxio PMem层（SoAD模式）相比不使用缓存配置速度提升2.13倍，在4TB决策支持工作负载的情况下（parquet格式）相比DRAM层速度提升1.92倍。

您可以在我们的白皮书中查看更多的基准信息，包括配置和结果。我们希望它对您有帮助！

Alluxio
关注
博客
对比速览 | Alluxio 企业版 v.s. 社区版
08-06 528
当前诸多企业面临着日益增长的数据量和复杂的数据管理挑战。特别是在模型训练的过程中，诸如GPU短缺、GPU利用率不高等问题已经成为许多企业在技术实施中面临的挑战。同时，大数据分析中跨云数据访问速度慢、成本高等问题也给企业带来了痛点。为了应对这些挑战，企业们积极寻求更便捷的数据管理和模型训练加速解决方案。Alluxio企业版提供了针对商业级需求的增强功能和支持。企业版不仅仅是Alluxio社区版的延伸，更是为了满足企业级应用中的稳定性、安全性和性能需求而设计的高阶解决方案。
博客
案例分享｜Alluxio在自动驾驶数据闭环中的应用
08-02 989
分享嘉宾：孙涛 - 中汽创智智驾工具链数据平台开发专家。分享提纲：1. 自动驾驶数据闭环介绍；2. Alluxio 在采集标注训练以及合规平台的一些应用场景；3. 目前存在的问题以及未来规划。
博客
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上
06-05 1062
近日，Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试，旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发，将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合，推出一体化存储联合方案，以更好地支持 AI 场景下的数据管理和加速需求。近年来，随着 AI、大数据的逐渐推广和完善，特别是 AI 大模型（LLM、多模态、文生视频等）的广泛推广，超大数据量的存储以及访问已经成为了企业面临的一个重大的技术以及成本挑战。
博客
案例分享｜Alluxio在自动驾驶模型训练中的应用与部署
05-21 1020
杨林三-辉羲智能辉羲智能致力打造创新车载智能计算平台，提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案，运用独创性“数据闭环定义芯片”方法学，助力车企构建低成本、大规模和自动化迭代能力，实现优质高效的自动驾驶量产交付，引领数据驱动时代的高阶智慧出行。创业公司中，如何使用Alluxio？从0-1使用 Alluxio 的过程（调研-部署-上生产）。实践经验分享。《 Alluxio 在自动驾驶模型训练中的应用与部署》下文为完整文字版分享内容。
博客
OPPO案例 | Alluxio在Data&AI湖仓一体的实践
03-22 1032
在OPPO的实际应用中，我们将自研的Shuttle与Alluxio完美结合，使得整个Shuttle Service的性能得到显著提升，基本上实现了性能翻倍的效果。通过这一优化，我们成功降低了约一半的系统压力，同时吞吐量也直接翻倍。这样的结合不仅解决了性能问题，更为OPPO的服务体系注入了新的活力。完整文字版分享内容↓《Alluxio在Data&AI湖仓一体的实践》上图是OPPO目前的整体架构，主要分为两部分：1、Data2、AIOPPO在数据领域主要专注于结构化数据，即通常使用SQL处理的数据。
博客
数据本地性如何助力企业在云上实现高效机器学习
03-22 949
对于模型训练而言，为提高模型准确性，通常需要进行多个epoch训练，因此数据读取所花费的时间可能比实际用于模型训练计算所花费的时间要长得多。通过就近存放并访问所需数据，减少了数据移动上的耗时，可将更多的时间用于高效计算。√ 新的解决方案——Alluxio DORA，采用分布式缓存架构，利用去中心化的一致性哈希以及软亲和调度算法来优化数据存放，既能保持高可用性也能提高本地性；√ 包括直接访问远端数据、拷贝数据和使用本地缓存层在内的现有解决方案各有利弊，但都难以将提供的数据本地性提升到更大或者超大的规模；
博客
超算互联网统一存储平台技术研究
03-08 1005
还有一些复杂的应用场景，比如海洋气象遥感这些领域，他们本身的操作流程就比较复杂，可能数据存储在一个地方，需要流转到另一个地方进行数据的预处理，模拟仿真、模型训练等操作，但是这些操作又可能要在不同的平台上进行，甚至要在不同的区域进行，如果没有一个一体化的服务平台，很难行得通，很难精通所有平台的使用方式，这些问题和挑战也是我们打造超算互联网核心要解决的。再就是数据的预取，也就是数据缓存机制的优化，包括预取的设计、关联规则，还有比较重点的，我们想做分层存储，这是后续要做的事情。
博客
实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍
01-12 1311
现在我们上边的部署计算节点是358个，3PB的存储，56000多核的一个VCPU，目前跑在上面的智能应用大概4600+，上云的系统41个，以及我们现在连接的设备数是1664万，大量的设备已经把数据传输到云上。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源能够真正的统一集中，它的统一集中并不是要掌管它、监控它，而是让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化流动起来，让大家最大化使用这些资源，这才是我们的最终目标。
博客
Alluxio AI 全新产品发布：无缝对接低成本对象存储 AI 训练解决方案
10-20 213
（2023 年 10 月 19 日，北京）Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司，现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、可扩展性和成本效益，助力生成式 AI、计算机视觉、自然语言处理、大语言模型和高性能数据分析等下一代数据密集型应用的发展。
博客
实录分享 | Alluxio 在网易大数据的应用与优化
10-16 501
在 Impala 的文件句柄缓存机制中，Impala 读取文件时，会首先判断是否缓存了文件句柄，如果没有就调用 Open 方法向 Master 发起请求以获取文件的元数据信息（如文件的长度，文件块的位置信息等），此后会向 Worker 发起读取请求并调用 read 方法读取数据块，此后会调用 unbuffer 方法并缓存文件句柄，最后会返回读取的数据；网易利用了 UFS 对象存储的批量删除接口，通过合并删除请求批量删除对象，此时整体的 rpc 调用会减少很多，以此来优化 Rename 的整体性能。
博客
实录分享 | Alluxio在AI/ML场景下的应用
09-01 640
其次就是我们不希望大家专门买一套硬件解决方案，在加入Alluxio之前，我所在的实验室是一直在做HPC的，HPC有一个很大的问题就是他的成本非常高，买1套HPC通常可以买10套Hadoop硬件，或者是云上的存储硬件，所以如果需要购买一套专有的硬件搭建AI Infra 架构，是事倍功半的，成本非常昂贵，看到这个场景后，我们提出还是希望可以直接在数据湖上构建AI和ML的数据通路，可以不更改存储系统，同时可以利用已有的，不需要额外购买IDMA这种硬件，就可以支撑训练的需求，这是我们的愿景。
博客
突破大模型 | Alluxio助力AI大模型训练-成功案例（一）
08-15 950
其实从 2022 年的下半年我们就开始调研 Alluxio 了，但是因为种种原因，中途搁置了一段时间，导致 Alluxio 推迟到今年才上线。在我们调研与上线的过程中，Alluxio 社区是我们最强大的外援，为我们提供了海量的帮助。本次我们在算法场景对 Alluxio 小试牛刀，取得的结果令人十分惊喜。从性能上讲，在算法模型上线的场景，我们将 UnionStore 用 Alluxio 替换后，最高能够获得数十倍的性能提升；
博客
实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况
08-14 824
在Grafana中，我们可以使用Prometheus采集的数据，用PromQL筛选出所需的数据，在Web UI界面可绘制种类丰富的图像，如折线图、柱状图、热图等。Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警新模型。Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底颠覆，形成了基于中央化的规则计算、统一分析和告警新模型。可以在任何环境搭建我们的监控系统。
博客
实录分享 | Alluxio Operator一体化部署方案
06-25 656
当我们创建了一个 Presto 资源后，自定义的controller仍然要监控资源的状态，如果资源的状态被更新了（比如Presto的镜像被更新了），那么它也需要根据更新之后的状态和当前状态进行对比，之后controller 要去做的事情就是自动更新它所创建的相关资源，而我们则无须关心要更新哪些内置的deployment和service。比如，基于前面Level 4所收集的指标进行分析后，发现应用在白天的请求较多，而晚上较少，则Operator可以自动根据请求的数目去做扩缩容，自动地去修改pod的副本数。
博客
如何挖掘闲置硬件资源的潜力-PrestoDB缓存加速实践小结
05-09 875
以前使用PrestoSql的时候，遇到过同步缓存的线程死锁，原因是同步元数据的代码里有获取其他元数据实体缓存的逻辑，比如loadPartitionByName会先调用getTable方法，如果表缓存过期了且同步线程用满了就可能发生死锁。实现基于guava cache，将hive metastore的表，分区等元数据信息缓存在内存中，通过刷新时间，过期时间和缓存实体的上限数的配置来控制数据的有效性和容量上限。所以我们需要严格保证元数据有效性的集群，比如做批任务数据质量校验的，就不开启元数据缓存。
博客
Alluxio跨集群同步机制的设计与实现
03-23 670
随着数据量的增长，这些数据的存储和访问方式也变得越来越复杂。例如，数据可能位于不同的存储系统中（S3、GCP、HDFS 等），也可能存储在云上或本地，或是位于不同的地理区域，还可能因为隐私或安全保护，被进一步隔离。此外，这些复杂性不仅体现在数据存储上，还包括如何将数据用于计算，例如，数据可能存储在云上，而计算则在本地进行。Alluxio 是一个数据编排平台，通过在 UFS 上提供统一的访问接口来降低此类复杂性，并通过提供数据本地性和缓存来提高计算性能。
博客
如何借力Alluxio推动大数据产品性能提升与成本优化？
02-09 535
综合亚马逊云、阿里云的存储、数据传输和服务器成本，使用对象存储系统的开销要比HDFS低很多，而使用 Alluxio 可十分方便地接入各种存储系统，这无疑意味着可大大降低企业运营成本。想要了解更多关于Alluxio的干货文章、热门活动、专家分享，可点击进入【Alluxio智库】参考。
博客
2023年五大趋势预测 | 大数据分析、人工智能和云产业展望
01-19 2229
尽管数据共享目前尚未普及，处于早期阶段，但是，以数据共享为核心的生态体系，包括为数据消费者和数据提供者的基础设施、交易能力和服务，都将在 2023 年得到长足的发展。在云上部署数据密集型负载的企业需重新评估其云战略，更加关注成本优化，根据现有或新项目的ROI（投资回报率）和TCO（总拥有成本）来进一步审视企业的云开销。此外，随着大模型不断升级优化，研发人员将需要找到更多新的方法，用来把更多的大模型和实际的应用场景结合起来。越来越多的企业会优化其架构，以避免遭到超出预期的数据出口成本的冲击。
博客
Alluxio 2022技术干货年终大赏
01-14 668
2022，我们积累了很多应用案例，邀请了很多嘉宾参与了我们的社区直播活动17场主题活动（Alluxio Day、Meetup、Datafun Summit等）44位嘉宾44个主题（来自一线大厂的实战者）2000+分钟的分享时长（内容涵盖【金融】【互联网&科技】【大数据】【通信】【电商】【出行】【人工智能】等热门行业）点击标题即可观看。
博客
从“少林寺”毕业后，我当上了开源社区“区长”
01-04 269
有了这层标准之后，提供计算的厂商和用户都可以轻松自如地做他们想要做的事情，而不用去关心具体的数据是怎么获得的，或者它是在一个什么样的服务里边怎样设置的。这一期间，我非常有幸能和很多世界级的专家、学者以及一流的同学一起共事，这个宝贵的经历使得我的专业水平以及对领域的认识都得到了相当大的提升。我作为Alluxio开源社区的co-chair，我的任务是如何把这个社区里的用户、代码修改的贡献者以及有能力去做整个项目演进的资深开发者很好的组织起来，使大家都能各取所需，并在项目中充分发挥自己的作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值