Computex 官宣NVIDIA NIM：AI开发者的神器，助你轻松构建生成式AI应用

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

今天在COMPUTEX大会上，NVIDIA宣布全球2800万开发者现在可以下载NVIDIA NIM™。这是一种推理微服务，提供优化容器中的模型，能在云端、数据中心或工作站上部署，让开发者能够轻松构建生成式AI应用，如协同助手、聊天机器人等，仅需几分钟而非几周。

如今的生成式AI应用越来越复杂，往往需要多个具有不同生成文本、图像、视频、语音等能力的模型。NVIDIA NIM大大提升了开发者的生产力，提供了一种简单、标准化的方式，将生成式AI添加到他们的应用中。

NIM还帮助企业最大化基础设施投资。例如，使用NIM运行Meta Llama 3-8B模型，可以在加速基础设施上生成多达3倍的生成式AI令牌，比不使用NIM效率高出许多。这让企业能在使用相同计算资源的情况下，生成更多响应。

近200家科技合作伙伴，包括Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI和Synopsys，正在将NIM集成到他们的平台中，加速生成式AI在特定领域应用的部署，例如协同助手、代码助手和数字人类头像。Hugging Face也提供了NIM，起步于Meta Llama 3。

NVIDIA创始人兼CEO黄仁勋表示：“每个企业都希望在其运营中加入生成式AI，但并非每个企业都有专门的AI研究团队。NVIDIA NIM集成到各个平台中，开发者随时随地都能访问，使每个组织都能触及生成式AI。”

企业可以通过NVIDIA AI Enterprise软件平台，在生产中部署NIM AI应用。下个月起，NVIDIA开发者计划的成员可以免费访问NIM，在他们喜欢的基础设施上进行研究、开发和测试。

NIM微服务加速生成AI模型

NIM容器预构建加速了GPU推理模型的部署，可以包含NVIDIA CUDA®软件、NVIDIA Triton Inference Server™和NVIDIA TensorRT™-LLM软件。

超过40个NVIDIA和社区模型可作为NIM端点在ai.nvidia.com上体验，包括Databricks DBRX、Google的开源模型Gemma、Meta Llama 3、Microsoft Phi-3、Mistral Large、Mixtral 8x22B和Snowflake Arctic。

开发者现在可以从Hugging Face AI平台访问NVIDIA NIM微服务的Meta Llama 3模型。使用Hugging Face推理端点，只需几次点击，就能在其首选云上轻松访问和运行Llama 3 NIM。

企业可以使用NIM运行生成文本、图像和视频、语音和数字人类的应用。使用NVIDIA BioNeMo™ NIM微服务进行数字生物学研究，研究人员可以构建新蛋白质结构，加速药物发现。

数十家医疗公司正在部署NIM，用于一系列应用，包括手术规划、数字助手、药物发现和临床试验优化。

有了新的NVIDIA ACE NIM微服务，开发者可以轻松构建和操作互动、逼真的数字人类应用，用于客户服务、远程医疗、教育、游戏和娱乐。

数百家AI生态系统合作伙伴嵌入NIM

平台提供商包括Canonical、Red Hat、Nutanix和VMware（被博通收购），都在开放源码KServe或企业解决方案中支持NIM。AI应用公司Hippocratic AI、Glean、Kinetica和Redis也在部署NIM，推动生成式AI推理。

领先的AI工具和MLOps合作伙伴，包括Amazon SageMaker、Microsoft Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI和Weights & Biases，也将NIM嵌入到他们的平台中，使开发者能够使用优化的推理构建和部署特定领域的生成式AI应用。

全球系统集成商和服务交付合作伙伴，包括埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、TCS和Wipro，已经创建了NIM能力，帮助全球企业快速开发和部署生产AI战略。

企业几乎可以在任何地方运行支持NIM的应用，包括来自全球基础设施制造商如思科、戴尔科技、惠普企业、联想和Supermicro的NVIDIA认证系统™，以及服务器制造商ASRock Rack、华硕、技嘉、Ingrasys、英业达、和硕、QCT、纬创和Wiwynn。NIM微服务还集成到亚马逊网络服务、谷歌云、Azure和甲骨文云基础设施中。

工业巨头加速生成式AI与NIM

行业领导者富士康、和硕、Amdocs、Lowe’s、ServiceNow和西门子正在使用NIM进行制造、医疗保健、金融服务、零售、客户服务等领域的生成式AI应用：

• 富士康——世界上最大的电子产品制造商，正在开发嵌入各种内部系统和流程的特定领域LLM，用于智能制造、智能城市和智能电动汽车的AI工厂。
• 和硕——一家台湾电子制造公司，正在利用NIM进行Project TaME，这是一个台湾Mixtral专家模型，旨在推进本地LLM的开发。
• Amdocs——为通信和媒体公司提供软件和服务的全球领导者，正在使用NIM运行一个客户计费LLM，大幅降低令牌成本，提高准确性30%，并减少80%的延迟，提供近实时响应。
• Lowe’s——财富50强家庭改善公司，正在使用生成式AI进行各种用例。例如，该零售商正在利用NVIDIA NIM推理微服务提升员工和客户体验。
• ServiceNow——企业转型的AI平台，早些时候宣布它是首批访问NIM的平台提供商之一，为其客户提供快速、可扩展和更具成本效益的LLM开发和部署。NIM微服务集成到Now AI多模态模型中，提供给安装了ServiceNow生成式AI体验Now Assist的客户。
• 西门子——专注于工业、基础设施、运输和医疗保健的全球技术公司，正在将其运营技术与NIM微服务集成，用于车间AI工作负载。它还使用NIM构建了一个用于机器操作员的工业协同助手的本地版本。

可用性

开发者可以在ai.nvidia.com免费试用NVIDIA微服务。企业可以使用在NVIDIA认证系统和领先云平台上运行的NVIDIA AI Enterprise部署生产级NIM微服务。从下个月开始，NVIDIA开发者计划的成员将免费获得NIM用于研究和测试。