全托管 NebulaGraph 试用活动进行中！解锁成本优化与效率提升的实践指南

于 2024-09-03 17:47:53 发布
阅读量16 收藏
点赞数
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4NjU5NDUxNg==&mid=2247578445&idx=1&sn=74cc56d06f336026ce3c0c351ef7751a&chksm=cec566b0a988a050cf1da31855b3b49bada21348b365961212517ba076019b835278e5264f68&scene=126&sessionid=0
版权

b56dcf3b5fc29216172f256522d6dde3.gif

简介

NebulaGraph 是一款开源的、分布式的、易扩展的原生图数据库，能够承载包含数千亿个点和数万亿条边的超大规模数据集，并且提供毫秒级查询。

图数据库在许多业务场景中扮演着重要角色，得益于其独特的数据模型和高效的查询性能。以下是一些常见的图数据库业务应用场景：

  • 知识图谱：企业和组织需要从各种数据孤岛中构建领域知识图谱，支持智能问答和语义搜索。

  • 社交网络分析：社交网络平台需要分析用户之间的关系、兴趣、互动等信息，以提供个性化推荐、广告定向投放。

  • 金融风控：金融机构需要监测异常交易活动、识别潜在的欺诈行为、评估信用风险。

  • 推荐系统：电子商务、媒体平台需要根据用户的浏览历史、购买记录等信息，提供个性化的商品或内容推荐。

NebulaGraph Cloud 是为 NebulaGraph 设计的全托管云服务，本文将结合亚马逊云科技的产品，详细介绍如何实现降本增效。

792d5c6b929500dfd15f8e7dca31e513.png

NebulaGraph Cloud

扫码了解更多

平台架构和组件 

平台架构

f0c33aa75578b33858edfd0b78e3cb84.png

NebulaGraph Cloud 基于 K8S 设计和构建 ，背后有以下因素：

  • K8S 的 Opertor 模式使得集群内部发生的一切可以被自动化，降低开发成本。

  • K8S 提供了一系列抽象能力，用于简化计算、存储和网络资源的管理，可以帮助用户避险厂商锁定，做到 100% Cloud agnostic。

  • K8S 内置的扩缩容、调度框架、资源监控、服务发现等能力，可以将各种管理操作变的更容易。

服务组件

NebulaGraph Cloud 由两部分构成：

控制平面（Control Plane）

提供用户控制台访问，包括组织管理、用户权限控制、数据库管理、网络安全设置、监控、告警等功能，帮助用户管理他们的 NebulaGraph 集群。

数据平面（Data Plane）

接收控制平面下发的指令，包括资源调度、配置、版本更新、水平扩缩容、规格调整、备份和恢复、可观测性、计量等功能。

成本优化设计

以数据库的配置示例来说明：

apiVersion: apps.nebula-cloud.io/v1alpha1
kind: Database
metadata:
  name: db123456
  namespace: db123456
spec:
  provider: aws
  region: "us-east-2"
  k8sRef:
     name: "k8s-ml65nmjg"
     namespace: "k8s-ml65nmjg"
  tier: standard
  graphInstanceType: NG.C4.M32.D0
  graphNodes: 1
  StorageInstanceType: NG.C4.M32.D50
  StorageNodes: 1
  version: v3.8.2c

左右滑动查看完整示意

数据库实例使用 CRD Database 定义，它在数据平面的管理操作由控制器 database-controller 负责。

对于依赖的计算资源通过 CRD NodePool 定义，NodePool 是对各个云厂商计算资源的抽象，在 Amazon EKS 中用于管理 NodeGroup。

前文提到 NebulaGraph 是计算-存储分离的架构，所以一个数据库实例会对应两个 NodePool 对象。 

# Graph 资源池
apiVersion: apps.nebula-cloud.io/v1alpha1
kind: NodePool
metadata:
  name: gnp-7d0b156e
  namespace: db123456
spec:
  databaseRef:
    name: db123456
    namespace: db123456
  instanceCount: 1
  instanceType: x
  k8sRef:
    name: k8s-ml65nmjg
    namespace: k8s-ml65nmjg
  labels:
    platform.nebula-cloud.io/database-name: db123456
    platform.nebula-cloud.io/graph-pool: db123456-f24a
  provider: aws
  region: us-east-2
  zoneIndex: 0
  
# Storage 资源池
apiVersion: apps.nebula-cloud.io/v1alpha1
kind: NodePool
metadata:
  name: snp-59e9cc63
  namespace: db123456
spec:
  databaseRef:
    name: db123456
    namespace: db123456
  instanceCount: 1
  instanceType: x
  k8sRef:
    name: k8s-ml65nmjg
    namespace: k8s-ml65nmjg
  labels:
    platform.nebula-cloud.io/database-name: db123456
    platform.nebula-cloud.io/Storage-pool: db123456-un6g
  provider: aws
  region: us-east-2
  zoneIndex: 0

左右滑动查看完整示意

规格调整

选择合适的实例规格对用户和服务商都是一个比预期更具挑战性的任务。用户通常不清楚他们需要多大的实例，例如，当用户的数据从 100 GB 逐渐增长到 1 TB 时，他们可能不清楚这些数据在每个阶段需要多少 CPU 核心或多大内存。这就需要用户和 SA 共同努力来找出答案。

在使用全托管云服务时，我们提供实例规格调整功能，支持对 Query 节点或者 Storage 节点单独调整，以满足用户在成本控制和性能达标方面的需求。用户可以根据监控面板的历史曲线判断是否达到单节点处理瓶颈，同时云平台也会发出站内告警。

b805921a8662ddc97e58ee28fad5f407.png

水平扩缩容

水平扩缩容支持对 Query 节点或者 Storage 节点单独调整。Query 节点可视为无状态服务，在处理查询流量波动时可通过扩缩容来解决。

Storage 节点负责存储图数据并提供读写能力，每个 Storage 节点上都分布一定数量的数据分片。每次进行扩缩容都会涉及数据迁移及数据分片再均衡，因此需要谨慎操作。

节点扩容前需要准备相应的计算资源，控制器 database-controller 会将当前期望的节点数下发给 infra-controller 触发 Amazon EKS 的 NodeGroup 扩容，这里我们没有启用 CA 或者 Karpenter 有以下原因： 

  • 扩缩容决策依赖于特定的集群条件和资源请求，如果这些条件没有得到满足，它可能不会执行预期的扩缩容操作。

  • 跨可用区场景下无法保证指定区域的扩缩容。

  • 基于 Pending Pod 的模式跟我们的业务系统无法紧密集成。

a505530958f6fa4c087a0b6ab2b63918.png

自动弹性伸缩

通过自动扩容/缩容支持不同的工作负载是我们的一个重要目标。由于计算和存储是分离的，我们可以根据每个服务节点的利用率来增加或减少 CPU 和内存资源。

弹性伸缩服务架构如下：

14625a0bb68458198fedeb4a05150bb2.png

每隔 10 分钟，弹性伸缩服务就会根据监控数据的历史和当前值计算数据库实例应分配的资源量，最终确定是否应增加或缩减计算资源。

它可以驱动水平扩缩容和垂直扩缩容（调整实例规格），确保业务高峰时能提前弹出来。我们在此基础上将继续不断改进，通过纳入更多指标和主动预测策略来缩短扩缩容的时间。

效率提升设计

网络安全访问

50466954145960b8ddeda523a0ea6fa5.png

目前我们为用户提供两种网络连接方式：网络白名单和 Privatelink 私网连接。

为了确保网络安全并简化配置步骤，我们在数据库实例与网络负载均衡（NLB）之间引入了代理服务 ngproxy，充分利用了 NLB 提供的功能。NLB 支持在通过的每个报文上设置 PPv2 header，ngproxy通过解析报文可以知晓用户端的 endpoint ID 与在控制台设置的 ID 是否一致，不匹配则会拒绝请求。同样的原理也适用于公网访问的白名单，只有当源地址与白名单中的地址匹配时，才会被允许通过。

备份和恢复

数据备份是防止数据丢失的第一道防线。无论是因为硬件故障、软件错误、数据损坏还是人为操作失误，备份都可以确保数据的安全。

我们为用户提供手动备份和定时备份两种方式，将备份数据上传到亚马逊云科技的对象存储 Amazon S3。我们没有采用基于云存储快照的备份恢复方案，因为基于 SST 的备份恢复速度比云存储快照更快，而且不需要依赖云厂商的基础服务。需要注意的是，在进行数据备份时 DDL 和 DML 语句将会被阻塞，因此建议在业务低峰期执行备份操作。

备份数据目录结构：

backup_root_url/
- BACKUP_2024_08_20_16_31_43
├── BACKUP_2024_08_20_16_31_43.meta
├── data
│   └── 10.0.0.12:9779
│       └── data0
│           └── 5
│               ├── data
│               │   ├── 000009.sst
│               │   ├── 000011.sst
│               │   ├── 000013.sst
│               │   ├── CURRENT
│               │   ├── MANIFEST-000004
│               │   └── OPTIONS-000007
│               └── wal
│                   ├── 1
│                   │   ├── 0000000000000000001.wal
│                   │   └── 0000000000000000005.wal
.....
│                   ├── 30
│                   │   ├── 0000000000000000001.wal
│                   │   ├── 0000000000000000004.wal
│                   │   └── 0000000000000000005.wal
└── meta
    ├── __disk_parts__.sst
    ├── __edges__.sst
    ├── __id__.sst
    ├── __indexes__.sst
    ├── __index__.sst
    ├── __last_update_time__.sst
    ├── __local_id__.sst
    ├── __parts__.sst
    ├── __roles__.sst
    ├── __spaces__.sst
    └── __tags__.sst
- BACKUP_2024_08_20_19_02_35

左右滑动查看完整示意

恢复数据时采用恢复至新实例的方案，这样可以充分利用云上资源弹性扩展的优势，在指定某个时间点的备份集后快速拉起一个新的数据库实例，用户在验证新的数据库实例工作正常后可以释放掉旧实例。

高可用性

针对那些对服务可靠性要求极高的用户，我们提供了跨可用区容灾解决方案。

在 NebulaGraph 中 Zone 是服务节点的集合，它将多个 Storage 节点划分成可管理的逻辑区域，实现资源隔离。同时，平台服务会控制 Query 节点访问指定的 Zone 内的副本数据，从而降低跨可用区通信产生的网络延时与流量成本。

管理有状态服务跨可用区的一个主要挑战是存储卷的区域亲和性问题。为了解决这个问题，我们采取了在每个可用区放置一个 NodeGroup 的方法。这样一来，就可以避免新扩容的 Node 可能被错误地安排在不正确的可用区中，从而导致 Pod 无法被调度的情况发生。

根据过往用户案例中的经验，我们还支持在某个可用区单独扩容的方案。云原生社区类似 HPA 的方案，只解决了扩容后的数量问题，但是无法扩容到指定区域。根据每个区域承载的业务流量进行扩展，可以有效地提高服务质量。如果某个区域观察到 QPS 突然激增，数据平面的弹性伸缩服务将允许在此区域缩放 Query 节点。

35451ccd9361a6daf5814f3c2ad23ca3.png

云上实战

在开通订阅后开始创建数据库，接下来演示访问数据库的几种方式：

可视化工具

从 Database 列表选中某个实例，进入 Data->Graph 图空间管理，点击 Explorer Graph 进入可视化应用。

5251eda78991a24a926956faccf1c836.png

点击右上角的 Console 打开控制台便可以执行 GQL 语句的查询。

d50c4b8f6fc69bfc8ac2de51d99969d6.png

网络白名单

在数据库实例的 Overview 页面点击 Connect，选中 Public 方式。

34380a16b7c8aae06d1f0f70938ef792.png

在没有配置网络白名单时，数据库实例无法直接从公网访问。

$ ./nebula-console -addr nebula-graph-ncqqo19eh0aus73e4un6g.aws.cloud.nebula-graph.io -port 9669 -u dbaas-test@vesoft.com -p $PASSWORD -enable_ssl


Welcome!


(dbaas-test@vesoft.com@nebula) [(none)]> show spaces;
+------------------------+
| Name                   |
+------------------------+
| "genshin"              |
| "hanxiaotest"          |
| "movie_recommendation" |
| "nba"                  |
+------------------------+
Got 4 rows (time spent 602µs/222.883326ms)


Mon, 02 Sep 2024 16:52:39 CST

左右滑动查看完整示意

Privatelink 私网连接

按照 Create Private Link Endpoint 的配置步骤，确定业务所在的 VPC ID 和 Subnet ID。

运行命令创建 Endpoint：

aws ec2 create-vpc-endpoint --vpc-id <YOUR-VPC-ID>  --region us-east-2 --service-name com.amazonaws.vpce.us-east-2.vpce-svc-04f25889c855f891b --vpc-endpoint-type Interface --subnet-ids  <YOUR-SUBNET-IDs>

左右滑动查看完整示意

登录亚马逊云科技控制台查看 Endpoint 状态：

2d67c1d0643804e194053d984147f58c.png

在业务 VPC 内测试访问是否正常。

7a39ec3f1a455cb89fe9143121f452e8.png

接下来大家可以按照自己的业务需求通过官方生态工具在云上进行数据维护。

总结与展望

本文介绍了基于云原生理念在亚马逊云科技上的服务落地 NebulaGraph 全托管云服务的架构细节，着重阐述如何通过亚马逊云科技的产品为用户带来实质利益，为用户在云端使用 NebulaGraph 提供兼具成本和弹性优势的全新解决方案。

在确保服务质量的同时，我们将继续探索各种可能性，降低用户成本并提高易用度。我们的目标是让用户只需为其使用的资源付费，将成本概念贯彻到每一个细节中。

目前 NebulaGraph Cloud Beta 版本试用活动正在火热进行中，每月最高消费控制在1美元以内，大家可以通过以下链接注册账号。

64fed94ce8f2b96b2ca3bf2fadfeef00.png

NebulaGraph Cloud

注册地址 1

扫码了解更多

f273c9f6374172c79ff541659f6293a5.png

NebulaGraph Cloud

注册地址 2

扫码了解更多

左右滑动查看更多

欢迎对 NebulaGraph Cloud 感兴趣的小伙伴进群解锁更多 DBaaS 相关内容。

20b5c3fa6448d3072783ffdd0e8e6f21.png

NebulaGraph Cloud DBaaS 

分享群

扫码加入群聊

7fa5fa7058c247bf4029ce1da31cd7ae.png

86b32c0d8b0f24ae25694382571c66ad.gif

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

听说，点完下面4个按钮

就不会碰到bug了！

26f6303e1ae4b22f75a959d4125dd84c.gif

点击阅读原文查看博客！获得更详细内容！

亚马逊云开发者
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
企业DevOps探讨：“谁构建、谁运行”原则的理论基础
12-30 9231
“谁构建，谁运行” --沃纳·沃格尔这样的场景大家想必不会陌生：我们正与家人共度美好时光，突然刺耳的电话铃声嗡嗡响起，我们的注意力也为之吸引。听筒中的尖叫声告知，我们的应用程序——也就是那些定期受到内存泄漏侵扰、但重启之后又能恢复正常的小冤家们——现在终于彻底起义了，服务器资源在几分钟之内就被其彻底榨干。目前该应用已经无法正常起效，而运维团队除了尝试重启与回滚之外无法可想——而最新
博客
企业DevOps：实施过程中需要关注的各项要点
12-29 7871
作者：亚马逊云科技企业市场战略总监Stephen Orban“经验并非凭空创造，而是依靠点滴积累所实现” ---阿尔贝·加缪在此次的企业DevOps探索之旅系列文章当中，我将带大家一同探讨企业在具备一定DevOps经验之后又该如何处理下一步可能面临的状况。当然，这些只是我个人在接触自动化、面向客户服务之IT体系以及“谁构建、谁运行”方面事务的同时积累下的一些心得体
博客
将DevOps纳入企业环境引发的思考
10-13 6148
作者：亚马逊云科技企业市场战略总监Stephen Orban“发展是一种以渐进式改善为载体的持续性行为”——英德拉瓦蒂虽然DevOps可以算是相对新鲜的概念，不过在我看来、其本质思路很早之前就已经出现。从这个角度看，目前很多企业已经广泛接纳这一概念并将其作为文化性产物看待，具体而言就是将大量原本孤立的团队融合起来，从而实现速度更快、频率更高且更为可靠的工作成果。我个人非常幸运
博客
利用Amazon Machine Learning与Amazon Redshift建立二进制分类模型
09-07 8065
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（
博客
利用Amazon Mobile Analytics与R深入探究移动应用的使用模式
08-31 6590
作者：Sandeep Atluri 亚马逊数据科学家要真正鼓励用户使用我们的移动应用程序，最重要的前提就是深入了解用户使用应用程序时的行为模式，而后据此作出体验优化。不过通过应用程序事件数据来找出有意义的模式往往极具挑战性，而标准KPI所提供的诸如月度活跃用户（简称MAU）以及每日活跃用户（简称DAU）并不足以勾勒出完整的图景。举例来说，所发布应用在过去三十天中的用户开启次数能够帮
博客
亚马逊云科技使用心得：当初我曾错过的那些宝贵经验
07-08 2万+
在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们
博客
基于 IAM 新功能，简化数据访问、权限设置与审计流程
09-02 52
上几个月，Amazon IAM Identity Center 新推出了一项功能——可信身份和传播。这篇文章将向大家介绍一个基于可信身份传播的新使用案例。常用商业智能（BI）应用程序 Tableau 现在可以将最终用户的身份向下传播到 Amazon Redshift。这一功能有三重好处：简化了最终用户的登录体验；使数据所有者能够根据真实的最终用户身份定义访问权限；使审计人员能够验证用户的数据访问权...
博客
RAG or 微调？为特定用例选择适当方法的实践分享！
09-02 41
引言和综述生成式 AI 技术与服务方兴未艾，大型语言模型彻底改变了我们处理语言任务的方式。它们在大量文本数据上进行了预训练，并可以通过称为微调（fine-tuning）的过程适应各种下游任务。微调是一种技术，涉及使用与该任务相关的较小数据集进一步训练特定任务或领域的预训练语言模型。通过这样做，模型可以学会更好地理解和生成针对特定上下文的文本，从而提高性能和准确性。但是，在某些情况下，微调可能不是最...
博客
使用 Amazon Bedrock 一键导入定制模型，无缝衔接至现有工作流！
09-01 17
???? 本期视频为你展示快速导入定制模型到Amazon Bedrock的过程，无缝衔接进工作流，仅需30秒！????️ 完成导入后，即可在应用场景中进行测试！立即体验立即体验 Amazon Bedrock！探索世界顶级的大模型、智能体、文生图、对话机器人……无论你是新手还是专家，我们都提供全面的培训与认证内容，助你掌握最新技术和最佳实践，提升专业技能，获得行业认可的认证！????Foundation Models...
博客
连接数据，释放潜力，三步解锁 Amazon Q，快来体验！
08-31 19
???? 不够了解生成式 AI，迟迟没选定合适的使用工具？其实 Amazon Q 只需三步就能上手，这期视频，亚马逊云科技全球 AI 产品副总裁 Matt Wood 为你带来展示！???? 第一步：利用您所在组织的详细信息连接和定制 Amazon Q。Amazon Q 可以接入包括 Amazon S3 Salesforce 的常用现有数据源，还支持超过 40 个流行的商业应用和服务。???? 第二步：一旦建立连接后...
博客
通过 Amazon Connect 分析数据湖新功能，简化自定义联络中心的洞察获取
08-30 382
分析对联络中心的成功至关重要。深入了解客户体验的每个接触点有助于您准确衡量绩效并适应不断变化的业务需求。尽管您可以在 Amazon Connect 控制台中看到一些常见指标，但有时需要根据业务的独特需求获得更多详细信息和自定义报告要求。Amazon Connect扫码了解更多目前，Amazon Connect 分析数据湖已正式发布，正如之前以预览版形式发布时那样，这一新功能可帮助您消除构建和维护复...
博客
为生成式 AI 产品打造持续的卓越用户体验——跨区域高可用弹性解决方案
08-30 441
生成式 AI 技术正在引发一波新的创新浪潮，许多公司纷纷采用生成式 AI 技术来开发基于大型语言模型（LLM）的产品。Amazon Bedrock 是一项完全托管的服务，通过单个 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和亚马逊云科技技术等领先人工智能公司的高性能基础模型（FM），以及通过安全性、隐私性和负责...
博客
Amazon Audit Manager 新通用控件库，让风险与合规评估更简单！
08-29 86
借助 Amazon Audit Manager，您可以将合规性要求映射到亚马逊云科技使用情况的数据，并在风险和合规评估中持续审计亚马逊云科技使用情况。就在上几个月，Amazon Audit Manager 推出了一个通用控件库，该库使用预定义和预先映射的亚马逊云科技数据来源提供通用控件。Amazon Audit Manager扫码了解更多该通用控件库以亚马逊云科技认证审计师进行的大量映射和审查为基...
博客
限时特惠速成云精英！「云上驰骋，考证无忧」活动倒计时！
08-29 67
如何快速加入云从业精英？如何提升竞争力，躺赢云职场？如何选择一个高含金量的入门云认证？如何避坑，拿到最优备考攻略？亚马逊云科技作为全球云计算的开创者和引领者，通过其认证体系赋能云从业者，推动产业的技术进步与人才发展。亚马逊云科技云从业者认证作为全球热门的云技能基础认证，可快速帮助您掌握并上手云技能，提升个人竞争力，进阶云认证精英，驰骋云职场。获得亚马逊云科技认证的 3 大优势！74% 认为该认证帮...
博客
上新了！亚麻云｜两款顶级 AI 模型入驻 Amazon Bedrock，一站式抢先体验！
08-28 42
◆两款顶级基础模型登陆 Amazon BedrockMeta Llama 3.1 系列模型已在 Amazon Bedrock 可用。Llama 3.1 模型是 Meta 迄今为止非常先进、强大的模型。Llama 3.1 模型包括 8B、70B 和 405B 三种参数量的模型。所有 Llama 3.1 模型都支持128K的上下文长度（比 Llama 3 多 120K 个 token），容量是 ...
博客
制造企业真实业务场景：Amazon Glue 完成数据处理与设备预测维护
08-28 93
SMT（表面贴装技术）是离散制造业中的一项关键技术，它通过自动化设备将电子元件直接贴装在印刷电路板（PCB）的表面。这种技术支持高密度的电子组件布局，显著提高了产品的可靠性和生产效率。与传统的穿孔插装技术相比，SMT 实现了更小的组件尺寸和更短的信号传输路径，从而有效降低了制造成本并提升了产品性能。SMT 广泛应用于各类电子设备和产品中，如手机、计算机硬件、消费电子及汽车电子等，是当今电子制造行业...
博客
Amazon Bedrock 实践：零基础创建贪吃蛇游戏
08-28 867
本文探讨了如何利用 Amazon Bedrock 和大型语言模型，快速创建经典的含吃蛇游戏原型代码。
博客
马来西亚区域现已开放！亚太地区第 13 个区域启用！
08-27 49
2023 年 3 月，亚马逊云科技首席布道师 Jeff Barr 宣布推出了马来西亚亚马逊云科技区域的计划。今天，我很高兴与大家分享一则消息：亚马逊云科技亚太（马来西亚）区域正式发布，该区域具有三个可用区和一个名为 ap-southeast-5 的 API。亚马逊云科技亚太（马来西亚）区域是马来西亚的第一个基础设施区域，也是继香港、海得拉巴、雅加达、墨尔本、孟买、大阪、首尔、新加坡、悉尼和东京以及...
博客
高计算能力、适用于大型内存数据库，Amazon EC2 U7i 实例现已可用！
08-27 41
本文作者 Jeff Barr亚马逊云科技副总裁、首席布道师在亚马逊云科技 re:Invent 2023 上以预览版形式发布的 Amazon Elastic Compute Cloud（Amazon EC2）U7i 实例现已可用，这些实例具有高达 32TiB 的 DDR5 内存和 896 个 vCPU。这些大内存实例由定制的第四代英特尔至强可扩展处理器（Sapphire Rapids）提供支持，旨在...
博客
GPU 服务器的高效使用指南：先从 SageMaker Notebook 笔记本实例聊起
08-26 91
大型语言模型（LLM）和扩散模型（Diffusion Model）等生成式 AI 技术的兴起，使得对 GPU 服务器资源的需求突增。由于训练和推理这些模型需要大量的计算能力，GPU 服务器资源变得紧缺。Amazon SageMaker 作为一个端到端的机器学习操作（MLOps）平台，为生成式 AI 模型的训练和推理提供了一系列工具和开发集成框架。它预配置了充足的 GPU 服务器资源池，并在训练和部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值