生成式AI，最近受到了很大的关注。和传统的AI不同，生成式AI用大量的未标记数据预先训练一个大模型，通常被称为基础模型（Foundation Models）。这个大模型包含了很大量的参数，可以执行跨多个领域的多种任务。更为重要的是，只需要少量的客户特定的数据和少量的计算资源，该基础模型就可以进行定制化微调。定制化的基础模型可以为特定领域的特定客户带来独有的体验。这种能力，对客户非常有吸引力。
但是在现实的层面，生成式AI的发展遇到了很多问题。这些问题主要体现在两个方面：构建生成式AI基础模型的创业公司，和使用生成式AI基础模型的客户。一方面，市场上有很多的创业公司，它们在生成式AI的特定的领域非常的有经验。比如说AI21 Labs家的基础模型Jurassic-2系列，它可以用多种语言来生成流畅、有逻辑、有创意的文本。
这些初创企业面临两方面的问题。一方面，生成式AI的发展，离不开大量的没有标注的训练数据的存在。任何一个生成式AI的基础模型的训练，都需要使用无数的机器，输入大量数据，耗费极高的钱和时间。
而对那些有志于在生成式AI方向创业的公司来说，购置大量机器进行生成式AI基础模型的训练的成本是非常昂贵的。生成式AI的创业公司，急需一种可负担的，价格低廉，效率高的生成式AI基础模型训练的硬件环境。
一方面，这些初创公司即使有了生成式AI的基础模型之后，面临的另外一个严峻问题是：它们怎么去服务客户？如果客户需要自己购买硬件，部署环境，才能够把模型使用起来，那么这对客户来说，使用基础模型的成本太高了，显然不利于客户使用基础模型。
另外一方面，由于生成式AI的基础模型的特性，只需要少量的计算资源和少量的客户数据，就可以通过对基础模型的微调进行定制化，从而体现这个客户的方方面面的企业特点。客户们当然是非常喜欢围绕生成式AI的基础模型构建自己的应用的。
但是这些客户的顾虑同样也很明显，客户的顾虑也体现在两个方面。一方面，如果客户需要购买硬件，部署环境才能够把生成式AI基础模型用起来的话，使用门槛太高了。很多用户无法接受。最好的方式就是有一种SaaS化，基于API的服务，客户只需要调用API就可以了。
客户的另外一个顾虑是如何保证自己微调的模型和自己的数据的安全。毕竟自己的数据更是公司的核心机密，万一在使用基础模型构建生成式AI的应用中导致自己的数据泄密，这将会是一个巨大的灾难。
2023年4月13日，亚马逊云科技宣布推出Amazon Bedrock服务，以及Amazon EC2 Trn1n和Amazon EC2 Inf2实例，还有Amazon CodeWhisperer等一系列生成式AI新工具和产品。这些产品有效地解决了生成式AI所面临的上述困境。
首先，对需要训练基础模型的生成式AI创业公司来说，亚马逊云科技这次发布的Amazon EC2 Trn1n和Amazon EC2 Inf2实例是专门为生成式AI训练和推理而设计的云计算基础设施。
亚马逊云科技选择了自研专用芯片进行深度学习的训练和推理。Trn1n实例是基于亚马逊云科技自研的Trainium芯片，提供了高性能、低成本且为机器学习专门构建的基础设施。Trn1n实例在构建大规模网络密集型模型时的性能可以提高20%以上，而成本可以节省50%以上。
Inf2实例是基于亚马逊云科技自研的Inferentia2芯片，在性能和能效方面达到了新的高度，在成本方面又低了一大截。Inf2实例的吞吐提高了最多四倍，而延迟相较于上代降低了最多10倍以上，性价比相比其他EC2实例提高了最多40%。
这些硬件有极高的性能和性价比，所以很多初创公司，比如说AI21 Labs，Hugging Face，Anthropic，Stability AI在训练大语言模型的时候，都选择了在亚马逊云科技上运行。
针对基础模型的拥有者如何有效地服务客户，以及客户使用基础模型中面临的诸多顾虑，亚马逊云科技推出了Amazon Bedrock。它可以让用户通过简单的SaaS API来访问来自不同供应商的基础模型，并利用它们来构建生成式AI应用程序。Amazon Bedrock支持很多第三方基础模型，首发的有AI21 Labs的Jurassic-2，Anthropic的Claude，以及Stability AI开发的Stable Diffusion。
当然用户也可以选择亚马逊云科技自研的基础模型：Amazon Titan。该模型是由亚马逊云科技在内部训练的一系列基础模型，目前包括两种：文本生成模型和文本嵌入模型。
文本生成模型可以执行诸如撰写博客文章和电子邮件、总结文档以及从数据库中提取信息等任务。
文本嵌入模型能够将文本输入（字词、短语甚至是大篇幅文章）翻译成包含语义的数字表达（即embeddings嵌入编码）。这种模型对个性化推荐和搜索等应用程序却大有好处，因为相对于匹配文字，对比编码可以帮助模型反馈更相关、更符合情境的结果。
由于Amazon Bedrock可以让用户通过简单的SaaS API来访问基础模型，这既解决了基础模型拥有者如何服务客户的顾虑，也解决了客户如何访问基础模型的担忧。两者都不用担心客户需要自己购买硬件，部署环境等一系列繁琐的操作。Amazon Bedrock为客户提供了基于客户数据的模型微调功能，可以让用户定制化基础模型。
而客户最担心的自身数据的安全需求，Amazon Bedrock也提供了保障，用户的数据可以存放在自己的VPC里面，不会泄露。
由此可见Amazon Bedrock服务，以及Amazon EC2 Trn1n和Amazon EC2 Inf2实例的推出，既解决了生成式AI初创公司训练基础模型的顾虑，也解决了生成式AI初创公司如何向用户提供基础模型的服务的顾虑，还解决了客户使用基础模型的时候的各种顾虑。
生成式AI，最近受到了很大的关注。和传统的AI不同，生成式AI用大量的未标记数据预先训练一个大模型，通常被称为基础模型（Foundation Models）。这个大模型包含了很大量的参数，可以执行跨多个领域的多种任务。更为重要的是，只需要少量的客户特定的数据和少量的计算资源，该基础模型就可以进行定制化微调。定制化的基础模型可以为特定领域的特定客户带来独有的体验。这种能力，对客户非常有吸引力。
但是在现实的层面，生成式AI的发展遇到了很多问题。这些问题主要体现在两个方面：构建生成式AI基础模型的创业公司，和使用生成式AI基础模型的客户。一方面，市场上有很多的创业公司，它们在生成式AI的特定的领域非常的有经验。比如说AI21 Labs家的基础模型Jurassic-2系列，它可以用多种语言来生成流畅、有逻辑、有创意的文本。
这些初创企业面临两方面的问题。一方面，生成式AI的发展，离不开大量的没有标注的训练数据的存在。任何一个生成式AI的基础模型的训练，都需要使用无数的机器，输入大量数据，耗费极高的钱和时间。
而对那些有志于在生成式AI方向创业的公司来说，购置大量机器进行生成式AI基础模型的训练的成本是非常昂贵的。生成式AI的创业公司，急需一种可负担的，价格低廉，效率高的生成式AI基础模型训练的硬件环境。
一方面，这些初创公司即使有了生成式AI的基础模型之后，面临的另外一个严峻问题是：它们怎么去服务客户？如果客户需要自己购买硬件，部署环境，才能够把模型使用起来，那么这对客户来说，使用基础模型的成本太高了，显然不利于客户使用基础模型。
另外一方面，由于生成式AI的基础模型的特性，只需要少量的计算资源和少量的客户数据，就可以通过对基础模型的微调进行定制化，从而体现这个客户的方方面面的企业特点。客户们当然是非常喜欢围绕生成式AI的基础模型构建自己的应用的。
但是这些客户的顾虑同样也很明显，客户的顾虑也体现在两个方面。一方面，如果客户需要购买硬件，部署环境才能够把生成式AI基础模型用起来的话，使用门槛太高了。很多用户无法接受。最好的方式就是有一种SaaS化，基于API的服务，客户只需要调用API就可以了。
客户的另外一个顾虑是如何保证自己微调的模型和自己的数据的安全。毕竟自己的数据更是公司的核心机密，万一在使用基础模型构建生成式AI的应用中导致自己的数据泄密，这将会是一个巨大的灾难。
2023年4月13日，亚马逊云科技宣布推出Amazon Bedrock服务，以及Amazon EC2 Trn1n和Amazon EC2 Inf2实例，还有Amazon CodeWhisperer等一系列生成式AI新工具和产品。这些产品有效地解决了生成式AI所面临的上述困境。
首先，对需要训练基础模型的生成式AI创业公司来说，亚马逊云科技这次发布的Amazon EC2 Trn1n和Amazon EC2 Inf2实例是专门为生成式AI训练和推理而设计的云计算基础设施。
亚马逊云科技选择了自研专用芯片进行深度学习的训练和推理。Trn1n实例是基于亚马逊云科技自研的Trainium芯片，提供了高性能、低成本且为机器学习专门构建的基础设施。Trn1n实例在构建大规模网络密集型模型时的性能可以提高20%以上，而成本可以节省50%以上。
Inf2实例是基于亚马逊云科技自研的Inferentia2芯片，在性能和能效方面达到了新的高度，在成本方面又低了一大截。Inf2实例的吞吐提高了最多四倍，而延迟相较于上代降低了最多10倍以上，性价比相比其他EC2实例提高了最多40%。
这些硬件有极高的性能和性价比，所以很多初创公司，比如说AI21 Labs，Hugging Face，Anthropic，Stability AI在训练大语言模型的时候，都选择了在亚马逊云科技上运行。
针对基础模型的拥有者如何有效地服务客户，以及客户使用基础模型中面临的诸多顾虑，亚马逊云科技推出了Amazon Bedrock。它可以让用户通过简单的SaaS API来访问来自不同供应商的基础模型，并利用它们来构建生成式AI应用程序。Amazon Bedrock支持很多第三方基础模型，首发的有AI21 Labs的Jurassic-2，Anthropic的Claude，以及Stability AI开发的Stable Diffusion。
当然用户也可以选择亚马逊云科技自研的基础模型：Amazon Titan。该模型是由亚马逊云科技在内部训练的一系列基础模型，目前包括两种：文本生成模型和文本嵌入模型。
文本生成模型可以执行诸如撰写博客文章和电子邮件、总结文档以及从数据库中提取信息等任务。
文本嵌入模型能够将文本输入（字词、短语甚至是大篇幅文章）翻译成包含语义的数字表达（即embeddings嵌入编码）。这种模型对个性化推荐和搜索等应用程序却大有好处，因为相对于匹配文字，对比编码可以帮助模型反馈更相关、更符合情境的结果。
由于Amazon Bedrock可以让用户通过简单的SaaS API来访问基础模型，这既解决了基础模型拥有者如何服务客户的顾虑，也解决了客户如何访问基础模型的担忧。两者都不用担心客户需要自己购买硬件，部署环境等一系列繁琐的操作。Amazon Bedrock为客户提供了基于客户数据的模型微调功能，可以让用户定制化基础模型。
而客户最担心的自身数据的安全需求，Amazon Bedrock也提供了保障，用户的数据可以存放在自己的VPC里面，不会泄露。
由此可见Amazon Bedrock服务，以及Amazon EC2 Trn1n和Amazon EC2 Inf2实例的推出，既解决了生成式AI初创公司训练基础模型的顾虑，也解决了生成式AI初创公司如何向用户提供基础模型的服务的顾虑，还解决了客户使用基础模型的时候的各种顾虑。
扫一扫
1568
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
