【合集- 行业解决方案】如何搭建高性能的数据加速与数据编排平台

于 2022-06-30 16:40:12 发布
阅读量404 收藏
点赞数
分类专栏： Alluxio技术与实践 文章标签： 大数据 金融 科技 自动驾驶 资源
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Alluxio/article/details/125543317
版权

在2022年过去的半年时间里，Alluxio一共做过30场面向客户、用户、粉丝、关注者的直播分享。

这30场分享中，我们每1期都会精心规划、定向邀请嘉宾，其中有来自一线大厂的实战者，有来自Alluxio的嘉宾。内容涵盖【金融】【互联网&科技】【电信】【电商】【出行】【人工智能】等热门行业。

30场直播中我们收获了很多反馈，但最多的还是咨询哪里可以【看回放】，今天小编就给大家精选了这份【回放资源清单】（按播放排名精选），此处值得一键收藏！

戳顶部企业名称查看往期课程回放

【金融行业】

| 兴业银行

【互联网&科技】

| 腾讯

| Bilibili

| Bilibili

| Bilibili

| 网易

| Momo

| Kyligence

【电信】

| 中国联通

【电商】

| Shopee

| 唯品会

【出行行业】

| 文远知行

| Uber

【人工智能】

| 云知声

【Alluxio嘉宾分享】

| Alluxio

| Alluxio

| Alluxio

Alluxio
关注
专栏目录
博客
选择Alluxio来解决AI模型训练场景数据访问的五大理由
09-20 557
在AI模型训练尤其是大模型领域，存储系统的性能和稳定性直接决定了模型训练、推理、部署任务的效率和成本。随着全球AI行业的爆发带来的数据规模的快速增长，如何高效管理和利用这些数据成为AI模型训练中的一大挑战。
博客
Alluxio Enterprise AI on K8s FIO 测试教程
09-20 999
fio是业内常用的磁盘与文件系统性能测试工具，下面内容将通过文字方式介绍Alluxio on k8s 进行fio测试的教程。
博客
Alluxio EnterpriseAI on K8s 部署教程
09-20 1063
本文将通过视频和文字的方式，介绍如何通过Operator（Kubernetes管理应用程序的扩展） 在 Kubernetes 上安装 Alluxio
博客
对比速览 | Alluxio 企业版 v.s. 社区版
08-06 533
当前诸多企业面临着日益增长的数据量和复杂的数据管理挑战。特别是在模型训练的过程中，诸如GPU短缺、GPU利用率不高等问题已经成为许多企业在技术实施中面临的挑战。同时，大数据分析中跨云数据访问速度慢、成本高等问题也给企业带来了痛点。为了应对这些挑战，企业们积极寻求更便捷的数据管理和模型训练加速解决方案。Alluxio企业版提供了针对商业级需求的增强功能和支持。企业版不仅仅是Alluxio社区版的延伸，更是为了满足企业级应用中的稳定性、安全性和性能需求而设计的高阶解决方案。
博客
案例分享｜Alluxio在自动驾驶数据闭环中的应用
08-02 994
分享嘉宾：孙涛 - 中汽创智智驾工具链数据平台开发专家。分享提纲：1. 自动驾驶数据闭环介绍；2. Alluxio 在采集标注训练以及合规平台的一些应用场景；3. 目前存在的问题以及未来规划。
博客
XSKY对象存储深度结合Alluxio分布式缓存系统，GPU利用率提高至90%以上
06-05 1064
近日，Alluxio分布式缓存系统完成了与XSKY星辰天合的 XEOS V6.4 对象存储的兼容性测试，旨在解决数据管理和加速方面的挑战。双方进行了深度的产品对接和联合开发，将 Alluxio 分布式缓存系统与 XEOS 对象存储的众多应用特性进行结合，推出一体化存储联合方案，以更好地支持 AI 场景下的数据管理和加速需求。近年来，随着 AI、大数据的逐渐推广和完善，特别是 AI 大模型（LLM、多模态、文生视频等）的广泛推广，超大数据量的存储以及访问已经成为了企业面临的一个重大的技术以及成本挑战。
博客
案例分享｜Alluxio在自动驾驶模型训练中的应用与部署
05-21 1024
杨林三-辉羲智能辉羲智能致力打造创新车载智能计算平台，提供高阶智能驾驶芯片、易用开放工具链及全栈自动驾驶解决方案，运用独创性“数据闭环定义芯片”方法学，助力车企构建低成本、大规模和自动化迭代能力，实现优质高效的自动驾驶量产交付，引领数据驱动时代的高阶智慧出行。创业公司中，如何使用Alluxio？从0-1使用 Alluxio 的过程（调研-部署-上生产）。实践经验分享。《 Alluxio 在自动驾驶模型训练中的应用与部署》下文为完整文字版分享内容。
博客
OPPO案例 | Alluxio在Data&AI湖仓一体的实践
03-22 1034
在OPPO的实际应用中，我们将自研的Shuttle与Alluxio完美结合，使得整个Shuttle Service的性能得到显著提升，基本上实现了性能翻倍的效果。通过这一优化，我们成功降低了约一半的系统压力，同时吞吐量也直接翻倍。这样的结合不仅解决了性能问题，更为OPPO的服务体系注入了新的活力。完整文字版分享内容↓《Alluxio在Data&AI湖仓一体的实践》上图是OPPO目前的整体架构，主要分为两部分：1、Data2、AIOPPO在数据领域主要专注于结构化数据，即通常使用SQL处理的数据。
博客
数据本地性如何助力企业在云上实现高效机器学习
03-22 952
对于模型训练而言，为提高模型准确性，通常需要进行多个epoch训练，因此数据读取所花费的时间可能比实际用于模型训练计算所花费的时间要长得多。通过就近存放并访问所需数据，减少了数据移动上的耗时，可将更多的时间用于高效计算。√ 新的解决方案——Alluxio DORA，采用分布式缓存架构，利用去中心化的一致性哈希以及软亲和调度算法来优化数据存放，既能保持高可用性也能提高本地性；√ 包括直接访问远端数据、拷贝数据和使用本地缓存层在内的现有解决方案各有利弊，但都难以将提供的数据本地性提升到更大或者超大的规模；
博客
超算互联网统一存储平台技术研究
03-08 1007
还有一些复杂的应用场景，比如海洋气象遥感这些领域，他们本身的操作流程就比较复杂，可能数据存储在一个地方，需要流转到另一个地方进行数据的预处理，模拟仿真、模型训练等操作，但是这些操作又可能要在不同的平台上进行，甚至要在不同的区域进行，如果没有一个一体化的服务平台，很难行得通，很难精通所有平台的使用方式，这些问题和挑战也是我们打造超算互联网核心要解决的。再就是数据的预取，也就是数据缓存机制的优化，包括预取的设计、关联规则，还有比较重点的，我们想做分层存储，这是后续要做的事情。
博客
实录分享 | 央企大数据平台架构发展趋势与应用场景的介绍
01-12 1316
现在我们上边的部署计算节点是358个，3PB的存储，56000多核的一个VCPU，目前跑在上面的智能应用大概4600+，上云的系统41个，以及我们现在连接的设备数是1664万，大量的设备已经把数据传输到云上。这个方案我认为是现在我们在央企里边比较核心的一套体系，能让全集团所有我们认为重要的数字化资源能够真正的统一集中，它的统一集中并不是要掌管它、监控它，而是让存储、计算、数据、应用、技术能力，能够在全集团范围内最大化流动起来，让大家最大化使用这些资源，这才是我们的最终目标。
博客
Alluxio AI 全新产品发布：无缝对接低成本对象存储 AI 训练解决方案
10-20 215
（2023 年 10 月 19 日，北京）Alluxio 作为一家承载各类数据驱动型工作负载的数据平台公司，现推出全新的 Alluxio Enterprise AI 高性能数据平台, 旨在满足人工智能 (AI) 和机器学习 (ML) 负载对于企业数据基础设施不断增长的需求。Alluxio Enterprise AI 平台可综合优化企业 AI 和分析基础设施的性能、数据可访问性、可扩展性和成本效益，助力生成式 AI、计算机视觉、自然语言处理、大语言模型和高性能数据分析等下一代数据密集型应用的发展。
博客
实录分享 | Alluxio 在网易大数据的应用与优化
10-16 504
在 Impala 的文件句柄缓存机制中，Impala 读取文件时，会首先判断是否缓存了文件句柄，如果没有就调用 Open 方法向 Master 发起请求以获取文件的元数据信息（如文件的长度，文件块的位置信息等），此后会向 Worker 发起读取请求并调用 read 方法读取数据块，此后会调用 unbuffer 方法并缓存文件句柄，最后会返回读取的数据；网易利用了 UFS 对象存储的批量删除接口，通过合并删除请求批量删除对象，此时整体的 rpc 调用会减少很多，以此来优化 Rename 的整体性能。
博客
实录分享 | Alluxio在AI/ML场景下的应用
09-01 644
其次就是我们不希望大家专门买一套硬件解决方案，在加入Alluxio之前，我所在的实验室是一直在做HPC的，HPC有一个很大的问题就是他的成本非常高，买1套HPC通常可以买10套Hadoop硬件，或者是云上的存储硬件，所以如果需要购买一套专有的硬件搭建AI Infra 架构，是事倍功半的，成本非常昂贵，看到这个场景后，我们提出还是希望可以直接在数据湖上构建AI和ML的数据通路，可以不更改存储系统，同时可以利用已有的，不需要额外购买IDMA这种硬件，就可以支撑训练的需求，这是我们的愿景。
博客
突破大模型 | Alluxio助力AI大模型训练-成功案例（一）
08-15 961
其实从 2022 年的下半年我们就开始调研 Alluxio 了，但是因为种种原因，中途搁置了一段时间，导致 Alluxio 推迟到今年才上线。在我们调研与上线的过程中，Alluxio 社区是我们最强大的外援，为我们提供了海量的帮助。本次我们在算法场景对 Alluxio 小试牛刀，取得的结果令人十分惊喜。从性能上讲，在算法模型上线的场景，我们将 UnionStore 用 Alluxio 替换后，最高能够获得数十倍的性能提升；
博客
实录分享 | 使用Prometheus和Grafana监控Alluxio运行状况
08-14 828
在Grafana中，我们可以使用Prometheus采集的数据，用PromQL筛选出所需的数据，在Web UI界面可绘制种类丰富的图像，如折线图、柱状图、热图等。Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底的颠覆，形成了基于中央化的规则计算、统一分析和告警新模型。Prometheus 是一个开源的完整监控解决方案，其对传统监控系统的测试和告警模型进行了彻底颠覆，形成了基于中央化的规则计算、统一分析和告警新模型。可以在任何环境搭建我们的监控系统。
博客
实录分享 | Alluxio Operator一体化部署方案
06-25 661
当我们创建了一个 Presto 资源后，自定义的controller仍然要监控资源的状态，如果资源的状态被更新了（比如Presto的镜像被更新了），那么它也需要根据更新之后的状态和当前状态进行对比，之后controller 要去做的事情就是自动更新它所创建的相关资源，而我们则无须关心要更新哪些内置的deployment和service。比如，基于前面Level 4所收集的指标进行分析后，发现应用在白天的请求较多，而晚上较少，则Operator可以自动根据请求的数目去做扩缩容，自动地去修改pod的副本数。
博客
如何挖掘闲置硬件资源的潜力-PrestoDB缓存加速实践小结
05-09 876
以前使用PrestoSql的时候，遇到过同步缓存的线程死锁，原因是同步元数据的代码里有获取其他元数据实体缓存的逻辑，比如loadPartitionByName会先调用getTable方法，如果表缓存过期了且同步线程用满了就可能发生死锁。实现基于guava cache，将hive metastore的表，分区等元数据信息缓存在内存中，通过刷新时间，过期时间和缓存实体的上限数的配置来控制数据的有效性和容量上限。所以我们需要严格保证元数据有效性的集群，比如做批任务数据质量校验的，就不开启元数据缓存。
博客
Alluxio跨集群同步机制的设计与实现
03-23 674
随着数据量的增长，这些数据的存储和访问方式也变得越来越复杂。例如，数据可能位于不同的存储系统中（S3、GCP、HDFS 等），也可能存储在云上或本地，或是位于不同的地理区域，还可能因为隐私或安全保护，被进一步隔离。此外，这些复杂性不仅体现在数据存储上，还包括如何将数据用于计算，例如，数据可能存储在云上，而计算则在本地进行。Alluxio 是一个数据编排平台，通过在 UFS 上提供统一的访问接口来降低此类复杂性，并通过提供数据本地性和缓存来提高计算性能。
博客
如何借力Alluxio推动大数据产品性能提升与成本优化？
02-09 537
综合亚马逊云、阿里云的存储、数据传输和服务器成本，使用对象存储系统的开销要比HDFS低很多，而使用 Alluxio 可十分方便地接入各种存储系统，这无疑意味着可大大降低企业运营成本。想要了解更多关于Alluxio的干货文章、热门活动、专家分享，可点击进入【Alluxio智库】参考。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值