Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析

于 2023-09-05 18:04:52 发布
阅读量633 收藏 1
点赞数
文章标签： 人工智能
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4NjU5NDUxNg==&mid=2247546951&idx=1&sn=746558abc26644ab456b896c59a0e9bd&chksm=cf9536fcf8e2bfea146facb90ab83cbf07504b0f27f563a38057136b4aefe7d726055ba5589f&scene=126&sessionid=0
版权

eb82a1af5160016578f20805f6432960.gif

本文作者 黄浩文 

亚马逊云科技 资深开发者布道师

在上期文章，我们探讨了如何在自定义数据集上来微调（fine-tuned）模型。本期文章，我们将重新回到文本生成的大模型部署场景，探讨如何在 Amazon SageMaker 上部署具有 400 亿参数的 Falcon 40B 开源大模型。

我们将对比两种不同的部署方式：

  1. 开箱即用的 Amazon SageMaker JumpStart 部署方式；

  2. 更细控制颗粒度的 Amaon SageMaker Notebook 部署方式。

Falcon 40B 开源大模型概述

Flacon 40B 是由阿拉伯联合酋长国技术创新研究所（TII）开发的大语言模型。它于 2023 年 2 月发布，是目前最大的开源大语言模型之一。Flacon 40B 有 400 亿个参数，比 GPT-3 和 LLaMA 都要多。Flacon 40B 是在大量的文本和代码数据集上完成模型训练的，包括 RefinedWeb 数据集，这是一个 Common Crawl 数据集的过滤版本。

1. Flacon 40B 的特点

Falcon 40B 具有多种使其成为强大的大型语言模型之功能，这些功能包括：

  • 大尺寸：Flacon 40B 有 400 亿个参数，这使其能够学习单词和概念之间的更多复杂关系

  • 高效训练：Falcon 40B 使用多种技术来使其训练更加高效，例如 3D 并行性和 ZeRO 优化

  • 高级架构：Falcon 40B 使用先进的架构，包括 FlashAttention 和 Multi-query Attention。这些技术使 Flacon 40B 能够更好地理解文本中的长距离依赖关系

  • 开源：Flacon 40B 是开源的，允许研究和开发人员对其进行实验和改进

2. Flacon 40B 的训练数

Falcon-40B 接受了 RefinedWeb 的 1,000 亿个 token 的训练，RefinedWeb 是一个经过过滤和重复数据删除的高质量网络数据集。值得一提的是，Falcon 团队认为他们使用 RefinedWeb 数据集的数据质量非常优秀，为此他们还专门发过一篇论文，如下所示：

c8c8179466335c854bd24684d138845f.png

Source：https://arxiv.org/pdf/2306.01116.pdf，2023/06

3. Flacon 40B 的训练参数和过程

Falcon-40B 使用了 Amazon SageMaker 进行训练，在 p4d 实例中使用了 384 个 A100 40GB GPU。训练过程中，Falcon-40B 使用了 3D 并行度策略（TP=8、PP=4、DP=12）和 ZeRO。模型训练于 2022 年 12 月开始，历时两个月。其主要的训练参数如下所示：

07667c31ae0d13c7ab943a98102b5729.png

Source: https://huggingface.co/tiiuae/falcon-40b

4. Flacon 40B 的模型结构

Falcon-40B 是一个因果解码器模型（causal decoder-only model ），在因果语言建模任务（即预测下一个token）上训练。该架构主要参考在 GPT-3 论文（Brown et al., 2020）上做了以下主要改进：

  1. 位置嵌入（Positional embeddings）：采用 rotary 位置嵌入（论文：Su et al., 2021）

  2. 注意力机制（Attention）：采用 multiquery（论文：Shazeer et al., 2019）和 FlashAttention（论文：Dao et al., 2022）

  3. 解码器模块：采用了具有两层 norms 的并行注意力/MLP

其公布的超参数配置如下所示：

e5848d813a69bc76c63fa6185736bae5.png

Source: https://huggingface.co/tiiuae/falcon-40b

5. Flacon 40B 的性能

Falcon 40B 已被证明在多项基准测试中优于其他 LLM，包括 GLUE、SQuAD 和 RACE。它也被证明对于各种任务都有效，例如文本生成、机器翻译和问答。

Falcon 40B 模型的主要参数如下：

  • 参数：400 亿

  • 训练数据：1 万亿 Token

  • 架构：Transformer

  • 优化器：Adam

  • 损失函数：交叉熵

  • 评估指标：BLEU、ROUGE、F1

部署方式一：

使用 Amazon SageMaker 

JumpStart 进行部署

本节将介绍在 Amazon SageMaker JumpStart 中，如何使用 SageMaker Python SDK 部署 Falcon 40B 开源大模型以生成文本。这个示例包括:

  1. 设置开发环境

  2. 获取全新 Falcon 40B 的开源大模型的 Hugging Face id 和版本

  3. 使用 JumpStartModel 函数部署 Falcon 40B 大模型

  4. 进行推理并与模型对话（包括代码生成、问题解答、翻译等）

  5. 清理环境

1. 启动 Amazon SageMaker JumpStart 环境

1. 在亚马逊云科技控制台输入“Amazon SageMaker”。

2e2f9e2c53e05ef049261e867f926cbd.png

2. 点击“Studio”， 然后点击“Open Studio”。

6468f98449c1265eacaaf97de54259dc.png

3. 点击“Launch -> Studio”。

70b027e135e2ac77243a4dc222e5fac2.png

4. 等待 Amazon SageMaker Studio 启动完成。

0aa4dbbca66009ae69dcd9ebe12b1283.png

5. 点击“SageMaker JumpStart -> Models, notebooks, solutions”后，选择“Text Models -> Falcon 40B Instruct BF16”。

49d6fad3208f5522dcf533c185e8de11.png

e981594bbc5d9fb0c4a79b6636092838.png

7. 等待“Starting notebook kernel…”启动完成后，就可以执行部署 Falcon 40B 开源大模型的示例代码了！

029c37dad3517f3d174a1cc8a5c0b3bf.png

本节实验的完整代码，可以在亚马逊云科技的 SageMaker 代码库中获得。

该实验完整代码的 GitHub 地址如下：

https://github.com/aws/amazon-sagemaker-examples/blob/main/introduction_to_amazon_algorithms/jumpstart-foundation-models/text-generation-falcon.ipynb

感兴趣的开发者可以参考以上这个示例，逐个单元执行代码完成该实验。由于亚马逊云科技的这个 Notebook 写得清楚简洁，恕不在此赘述其详细代码细节，感兴趣的读者可自行参考前面步骤，建立执行环境并亲身体验。

部署方式二：

使用 Amazon SageMaker 

Notebook 进行部署

本节将介绍如何使用新的 Hugging Face LLM 推理容器将开源大语言模型，比如 Falcon 40B 部署到 Amazon SageMaker 进行推理的示例。这个示例包括：

  1. 设置开发环境

  2. 获取全新 Hugging Face LLM DLC

  3. 将 Falcon 40B 部署到 Amazon SageMaker

  4. 进行推理并与模型对话

  5. 清理环境

1. 设置开发环境

我们将使用 Amazon SageMaker python SDK 将 Falcon 40B 部署到终端节点用于模型推理。我们首先需要确保正确安装了 Amazon SageMaker python SDK。如下代码所示：

# install supported sagemaker SDK
!pip install "sagemaker>=2.175.0" --upgrade –quiet


import sagemaker
import boto3
sess = sagemaker.Session()
# sagemaker session bucket -> used for uploading data, models and logs
# sagemaker will automatically create this bucket if it not exists
sagemaker_session_bucket=None
if sagemaker_session_bucket is None and sess is not None:
    # set to default bucket if a bucket name is not given
    sagemaker_session_bucket = sess.default_bucket()


try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client('iam')
    role = iam.get_role(RoleName='sagemaker_execution_role')['Role']['Arn']


sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)


print(f"sagemaker role arn: {role}")
print(f"sagemaker session region: {sess.boto_region_name}")

左滑查看更多

关于更多 Amazon SageMaker 所需权限的 IAM 角色详细配置说明，可以参考这个文档：

https://docs.aws.amazon.com/sagemaker/latest/dg/sagemaker-roles.htm

2. 获取 Hugging Face LLM DLC

Hugging Face LLM DLC 是一款全新的专用推理容器，可在安全的托管环境中轻松部署 LLM。DLC 由文本生成推理（TGI）提供支持，这是一种用于部署和服务大型语言模型（LLM）的开源、专门构建的解决方案。TGI 使用张量并行和动态批处理为最受欢迎的开源 LLM 实现高性能文本生成。借助于 Amazon SageMaker 上推出的全新 Hugging Face LLM Inference DLC，客户可以获得支持高并发、低延迟的 LLM 体验。

  • 文本生成推理（TGI）

    https://github.com/huggingface/text-generation-inference

与部署常规 Hugging Face 模型相比，我们首先需要检索容器 uri 并将其提供给 HuggingFaceModel 模型类，并使用 image_uri 指向该镜像。要在 Amazon SageMaker 中检索新的 Hugging Face LLM DLC，我们可以使用 sagemaker SDK 提供的 get_huggingface_llm_image_uri 方法。此方法允许我们根据指定的后端、会话、区域和版本检索所需的 Hugging Face LLM DLC 的 URI。

所有可用的 HuggingFace LLM DLC 版本可参考：

https://github.com/aws/deep-learning-containers/blob/master/available_images.md#huggingface-text-generation-inference-containers

from sagemaker.huggingface import get_huggingface_llm_image_uri


# retrieve the llm image uri
llm_image = get_huggingface_llm_image_uri(
  "huggingface",
  version="0.9.3"
)


# print ecr image uri
print(f"llm image uri: {llm_image}")

左滑查看更多

3. 将 Falcon 40B 部署到

Amazon SageMaker 终端节

要将 Falcon 40b Instruct 部署到 Amazon SageMaker，我们需要创建 HuggingFaceModel 模型类并定义相关的端点配置，包括 hf_model_id、instance_type 等。本演示中，我们将使用带有 4 个 NVIDIA A10G GPU 和 96GB GPU 内存的 g5.12xlarge 实例类型。

另外，Amazon SageMaker 的配额可能因账户而异。如果超出配额，你可以通过以下服务配额控制台增加配额：

https://console.aws.amazon.com/servicequotas/home/services/sagemaker/quotas

部署代码如下所示：

import json
from sagemaker.huggingface import HuggingFaceModel


# sagemaker config
instance_type = "ml.g5.12xlarge"
number_of_gpu = 4
health_check_timeout = 300


# TGI config
config = {
  'HF_MODEL_ID': "tiiuae/falcon-40b-instruct", # model_id from hf.co/models
  'SM_NUM_GPUS': json.dumps(number_of_gpu), # Number of GPU used per replica
  'MAX_INPUT_LENGTH': json.dumps(1024),  # Max length of input text
  'MAX_TOTAL_TOKENS': json.dumps(2048),  # Max length of the generation (including input text)
  # 'HF_MODEL_QUANTIZE': "bitsandbytes", # comment in to quantize
}


# create HuggingFaceModel
llm_model = HuggingFaceModel(
  role=role,
  image_uri=llm_image,
  env=config
)

左滑查看更多

细心的读者，会在上面的示例代码中找到一行注释掉的代码：

# 'HF_MODEL_QUANTIZE': "bitsandbytes", # comment in to quantize

左滑查看更多

关于量化（quantize）的知识范畴，是另一个有趣并宏大的知识领域，我们将在下一节 Falcon 40B 大模型微调的文章中，另外详细阐述。

创建 HuggingFaceModel 之后，我们就可以用 deploy 方法，将其部署到 Amazon SageMaker的终端节点了，我们将使用 ml.g5.12xlarge 实例类型部署模型。文本生成推理（TGI） 将在所有 GPU 上自动分发和分片模型，如下代码所示：

  • 文本生成推理（TGI） 

    https://github.com/huggingface/text-generation-inference

# Deploy model to an endpoint
# https://sagemaker.readthedocs.io/en/stable/api/inference/model.html#sagemaker.model.Model.deploy
llm = llm_model.deploy(
  initial_instance_count=1,
  instance_type=instance_type,
  # volume_size=400, # If using an instance with local SSD storage, volume_size must be None, e.g. p4 but not p3
  container_startup_health_check_timeout=health_check_timeout, # 10 minutes to be able to load the model
)

左滑查看更多

4. 进行推理并与模型对话

部署端点后，我们就可以使用 predict 方法，开始进行模型推理了。

我们可以使用不同的参数来控制生成，这些参数可以在 payload 的 parameters 属性中定义。Hugging Face LLM DLC 推理容器支持各种生成参数，包括 top_p、temperature、stop、max_new_token 等等。

你可以在以下文档中找到支持参数的完整列表：

https://huggingface.co/blog/sagemaker-huggingface-llm#4-run-inference-and-chat-with-our-model

截至今天，TGI 支持以下参数：

temperature：控制模型中的随机性。较低的值将使模型更具确定性，而较高的值将使模型更随机。默认值为 0。

max_new_tokens：要生成的最大 token 数量。默认值为 20，最大值为 512。

repeption_penalty：控制重复的可能性，默认为 null。

seed：用于随机生成的种子，默认为 null。

stop：用于停止生成的代币列表。生成其中一个 token 后，生成将停止。

top_k：用于 top-k 筛选时保留的最高概率词汇标记的数量。默认值为 null，它禁用 top-k 过滤。

top_p：用于核采样时保留的参数最高概率词汇标记的累积概率，默认为 null。

do_sample：是否使用采样；否则使用 greedy 解码。默认值为 false。

best_of：生成 best_of 序列如果是最高标记 logprobs 则返回序列，默认为 null。

details：是否返回有关生成的详细信息。默认值为 false。

return_full_text：是返回全文还是只返回生成的部分。默认值为 false。

truncate：是否将输入截断到模型的最大长度。默认值为 true。

typical_p：token 的典型概率。默认值为 null。

watermark：生成时使用的水印。默认值为 false。

因为我们部署的 tiiuae/falcon-40b-instruct 开源大模型，是一种对话聊天模型，我们可以使用以下提示词与大模型聊天了！如下所示：

# define payload
prompt = """You are an helpful Assistant, called Falcon. Knowing everyting about AWS.


User: Can you tell me something about Amazon SageMaker?
Falcon:"""


# hyperparameters for llm
payload = {
  "inputs": prompt,
  "parameters": {
    "do_sample": True,
    "top_p": 0.9,
    "temperature": 0.8,
    "max_new_tokens": 1024,
    "repetition_penalty": 1.03,
    "stop": ["\nUser:","<|endoftext|>","</s>"]
  }
}


# send request to endpoint
response = llm.predict(payload)


# print assistant respond
assistant = response[0]["generated_text"][len(prompt):]

左滑查看更多

LLM 的输出如下图所示。它会生成一段描述“Amazon SageMaker”的话：

54b6f70eedb495a6b3d9c277aa9b4b54.png

为方便读者们阅读，我把 LLM 的输出拷贝如下：

'Amazon SageMaker is a fully managed platform that enables developers and data scientists to quickly build, train, and deploy machine learning models in the cloud. It provides a wide range of tools and services, including Jupyter notebooks, algorithms, pre-trained models, and easy-to-use APIs, so you can quickly get started building machine learning applications.'

我们可以继续问 Falcon 40B 大模型问题，比如：

new_prompt = f"""{prompt}{assistant}
User: How would you recommend start using Amazon SageMaker? If i am new to Machine Learning?
Falcon:"""
# update payload
payload["inputs"] = new_prompt


# send request to endpoint
response = llm.predict(payload)


# print assistant respond
new_assistant = response[0]["generated_text"][len(new_prompt):]
print(new_assistant)

左滑查看更多

Falcon 40B 大模型给我的回答如下，供大家参考：

3b5c8c52913b57013a72bf354fc7b5a2.png

为方便读者们阅读，我把 LLM 的输出拷贝如下：

'If you're new to machine learning, you can start with pre-built algorithms and pre-trained models available in Amazon SageMaker. You can also use Jupyter notebooks to create and run your own experiments. Additionally, you can take advantage of the AutoPilot feature to automatically build and train machine learning models based on your data. The best way to get started is to experiment and try different things to see what works best for your specific use case.'

5.删除资源和清理环境

我们已经把 Falcon 40B 的开源大模型部署到了 Amazon SageMaker 的终端节点上，并成功地进行了模型推理。完成这个实验后，请记得删除资源和清理环境，包括删除模型和端点，以避免产生不必要的费用。

删除资源和清理环境的示例代码，如下所示：

llm.delete_model()
llm.delete_endpoint()

6.参考文档

本节的部署方式主要参考以下英文文档，笔者在阐述过程中，做了些细化描述和文字调整：

https://www.philschmid.de/sagemaker-falcon-llm

比较和总结

本文我们分两个章节，分别用两种方式部署了 Falcon 40B 的开源大语言模型。

首先我们使用了 Amazon SageMaker JumpStart 进行了模型部署，其主要核心代码如下：

model_id, model_version = "huggingface-llm-falcon-40b-instruct-bf16", "*”


from sagemaker.jumpstart.model import JumpStartModel
my_model = JumpStartModel(model_id=model_id)
predictor = my_model.deploy()

左滑查看更多

其次，我们使用了 Amazon SageMaker Notebook 进行了模型部署，其主要核心代码如下：

# Retrieve the new Hugging Face LLM DLC
from sagemaker.huggingface import get_huggingface_llm_image_uri


# retrieve the llm image uri
llm_image = get_huggingface_llm_image_uri(
  "huggingface",
  version="0.8.2"
)


# print ecr image uri
printf("llm image uri: {llm_image}")
# Deploy Falcon 40B Model
from sagemaker.huggingface import HuggingFaceModel


# instance config
instance_type = "ml.g5.12xlarge"
number_of_gpu = 4
health_check_timeout = 300


# TGI config
config = {
      'HF_MODEL_ID': "tiiuae/falcon-40b-instruct", 
      ……
}


# create HuggingFaceModel
llm_model = HuggingFaceModel(
  role=role,
  image_uri=llm_image,
  env=config
)
llm = llm_model.deploy(
      ……
)

左滑查看更多

由上述核心代码量的对比可知，如果你是初学者并希望开箱即用，你可以选用 Amazon SageMaker JumpStart 这种快速简洁的部署方式；如果你对 Amazon SageMaker 服务已经有一定的了解，并希望在大模型部署过程，具有更细颗粒度的控制（例如：部署实例类型、image 的版本号、TGI 参数等）时，你就可以选择 Amaon SageMaker Notebook 这种更全面控制配置参数的部署方式。

3da7700ce1766dd13f20c933ffc7467c.gif

在下一篇文章中，我们将探讨使用 Amazon SageMaker Notebook 在交互式环境中快速高效地微调大语言模型的话题。我们将使用 QLoRA 和 4-bits 的 bitsandbtyes 量化技术，在 Amazon SageMaker 上使用 Hugging Face PEFT 来微调 Falcon-40B 模型。这个话题在目前的开源大模型领域是一个前沿的先锋话题，尽请期待。

请持续关注「亚马逊云开发者」微信公众号，了解更多面向开发者的技术分享和云开发动态！

本篇作者

77796c35dd71debc0820717dfef238a8.jpeg

黄浩文

亚马逊云科技资深开发者布道师，专注于 AI/ML、Data Science 等。拥有20多年电信、移动互联网以及云计算等行业架构设计、技术及创业管理等丰富经验，曾就职于 Microsoft、Sun Microsystems、中国电信等企业，专注为游戏、电商、媒体和广告等企业客户提供 AI/ML、数据分析和企业数字化转型等解决方案咨询服务。

4df13d14e0aaa6feae3831e59ce599ba.gif

5e488bb5082647d7fb19e61ba5c14e30.gif

听说，点完下面4个按钮

就不会碰到bug了！

0ad2fb92f5fd6defb22300474ba9b354.gif

亚马逊云开发者
关注
博客
企业DevOps探讨：“谁构建、谁运行”原则的理论基础
12-30 9312
“谁构建，谁运行” --沃纳·沃格尔这样的场景大家想必不会陌生：我们正与家人共度美好时光，突然刺耳的电话铃声嗡嗡响起，我们的注意力也为之吸引。听筒中的尖叫声告知，我们的应用程序——也就是那些定期受到内存泄漏侵扰、但重启之后又能恢复正常的小冤家们——现在终于彻底起义了，服务器资源在几分钟之内就被其彻底榨干。目前该应用已经无法正常起效，而运维团队除了尝试重启与回滚之外无法可想——而最新
博客
企业DevOps：实施过程中需要关注的各项要点
12-29 7942
作者：亚马逊云科技企业市场战略总监Stephen Orban“经验并非凭空创造，而是依靠点滴积累所实现” ---阿尔贝·加缪在此次的企业DevOps探索之旅系列文章当中，我将带大家一同探讨企业在具备一定DevOps经验之后又该如何处理下一步可能面临的状况。当然，这些只是我个人在接触自动化、面向客户服务之IT体系以及“谁构建、谁运行”方面事务的同时积累下的一些心得体
博客
将DevOps纳入企业环境引发的思考
10-13 6217
作者：亚马逊云科技企业市场战略总监Stephen Orban“发展是一种以渐进式改善为载体的持续性行为”——英德拉瓦蒂虽然DevOps可以算是相对新鲜的概念，不过在我看来、其本质思路很早之前就已经出现。从这个角度看，目前很多企业已经广泛接纳这一概念并将其作为文化性产物看待，具体而言就是将大量原本孤立的团队融合起来，从而实现速度更快、频率更高且更为可靠的工作成果。我个人非常幸运
博客
利用Amazon Machine Learning与Amazon Redshift建立二进制分类模型
09-07 8133
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（
博客
利用Amazon Mobile Analytics与R深入探究移动应用的使用模式
08-31 6668
作者：Sandeep Atluri 亚马逊数据科学家要真正鼓励用户使用我们的移动应用程序，最重要的前提就是深入了解用户使用应用程序时的行为模式，而后据此作出体验优化。不过通过应用程序事件数据来找出有意义的模式往往极具挑战性，而标准KPI所提供的诸如月度活跃用户（简称MAU）以及每日活跃用户（简称DAU）并不足以勾勒出完整的图景。举例来说，所发布应用在过去三十天中的用户开启次数能够帮
博客
亚马逊云科技使用心得：当初我曾错过的那些宝贵经验
07-08 2万+
在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们
博客
啥也别说了，用吧！
11-15 12
产品能力评估第一—IDC《2024上半年中国市场代码生成产品评估》。领导者位置—Gartner《人工智能代码助手魔力象限》报告。总榜榜首—SWE榜单最新成绩。以Amazon Q Developer为例，其最近宣布的Inline Chat功能支持，不仅体现了全生命周期开发助手在集成与协作方面的进步，也进一步兑现了其对提升开发者工作效率的承诺。IDC发布的《2024上半年中国市场代码生成产品评估》报告...
博客
基于Amazon Bedrock构建视频洞察引擎
11-14 12
简介各行业的专业人士已将数字视频会议工具作为与供应商、同事和客户日常会议的一部分，这些会议往往涉及信息交流和讨论会后各方需采取的行动。将会议相关信息记录在案的传统做法是手记笔记，这不仅过程繁琐，而且容易出错，特别在活动频繁或压力较大的情况下更甚。并且这些笔记通常为个人所有，而非由企业集中存储，企业因此难以了解信息是否奏效，也错失了改进销售、采购和沟通流程的机会。本文将介绍一个使用亚马逊云科技人工智...
博客
Amazon Bedrock知识库加速客服团队应用生成式AI技术
11-13 21
需求背景LLM和信息检索技术已经成为提高客户服务效率的关键工具。其中检索增强生成（Retrieval-Augmented Generation，RAG）模型融合了知识库检索和自然语言生成的能力，可以帮助客服团队基于现有知识库快速回答客户咨询，提高工作效率和客户满意度。然而，在实际应用中，业务团队往往面临着IT资源限制、传统软件工程思维以及高层决策者的疑虑等障碍。具体来说：业务团队通常无法调动大量的...
博客
构建集成环境，解锁高效实时绘画的游戏美术新体验！
11-13 28
前言传统上，要制作一张高质量的游戏美术图像，美术人员需要投入大量时间。随着Stable Diffusion和Flux等高质量生成式AI大模型的出现，通过文生图、图生图等生成式AI技术，结合模型微调，我们可以显著提升游戏美术的工作效率。本文将介绍如何利用开源免费的绘图软件Krita，结合ComfyUI的功能来提高美术创作效率。如上图所示，通过Krita的AI插件，我们可以将传统绘图功能与生成式AI能...
博客
垂直电商图像搜索再升级：DINO 模型带来精准匹配体验
11-12 38
图片搜索可以提高零售业务和电子商务中的客户参与度，尤其是对服装类（衣服、裤子、鞋、服装饰品等）零售商而言。服装类是在图片搜索中最重要的产品类型。调研报告显示有36%的消费者曾经使用过图片搜索，有74%的消费者认为传统的文字搜索很难帮助他们找到正确的产品。由于行业的特性，服装类大多具有非常高的相似度，比如运动鞋和衣服，大多数鞋的形状和风格非常类似，需要通过非常细粒度的特征来进行识别。比如下面不一样型...
博客
基于Amazon EKS自建高可用Dify社区版
11-12 27
生成式AI和大语言模型（LLM）不仅大大提升了个人的信息获取和工作效率，也正在重塑企业应用。很多企业正在探索基于LLM、RAG和Agent的生成式AI应用，通过与私域数据和现有的应用结合，来打造更创新、更具价值和更个性化的用户体验。Dify架构及核心组件Dify是一款开源LLM应用开发平台，提供了三种使用模式：商业化版本Dify Cloud（SaaS模式），自建Dify社区版（免费），自建企业版。...
博客
明天直播见｜半价考取生成式AI技能认证，薪资上涨47%！
11-11 14
生成式AI技术革新的浪潮下，云计算产业人才需求高涨。具备生成式AI技能及其权威认证，将帮助您进阶云认证精英、驰骋云职场。担心自己卷不过？别急，下划文章，预约直播，get官方备考攻略！涨薪推荐：机器学习助理级认证10月30日，亚马逊云科技全新推出机器学习工程师-助理级认证（AWS Certified Machine Learning Engineer – Associate），帮助您进一步构建机器学...
博客
提升生成式AI会话管理能力的三大方案
11-11 19
数据库在构建生成式AI应用中发挥着关键作用，它不仅能为生成式AI提供稳定、可靠的数据来源，还能帮助系统有效地管理和组织海量数据，甚至提供一些优化基础，例如，在对话系统中，数据库可以储存用户的历史交互记录和偏好信息，帮助模型更好地理解用户的意图，生成更加个性化的回复。未来将会有系列文章，持续探讨数据库如何为生成式AI应用提供动力支持，让生成式AI和数据库“相得益彰”。首先，我们将重点关注AI Cha...
博客
显著提高集群管理效率的备份方案
11-10 25
本文作者韩旭北京西云数据科技有限公司亚马逊云科技技术支持亚马逊云科技技领云博主es-dump是Elasticsearch的一个实用工具，专门用于从Elasticsearch集群中导出或导入数据，支持数据、映射、别名、模板等多种类型的数据操作。它在数据迁移、备份、恢复等场景中非常实用。本文将展示如何使用es-dump工具执行生产到测试环境的索引复制，以及备份数据到本地文件或云存储服务中。Elast...
博客
快速上手｜用生成式AI查询天气、分析街景
11-09 26
???? 本期视频，亚马逊云科技资深开发者布道师黄浩文向我们展示了如何使用Amazon Bedrock SDK和Converse API，构建生成式AI应用程序。???? 点击视频，看Amazon Bedrock如何在城市天气查询、街景照片分析的实际应用场景中，将大模型的能力和现有业务系统进行集成！*请下滑至文末，点击“阅读原文”进入视频提及的实验手册！扫描下方二维码，立即体验Amazon Bedrock上的...
博客
使用三项托管服务，快速构建语音聊天机器人
11-08 26
前言当前，人工智能技术的快速发展正在推动语音交互界面向智能化和人性化方向迈进。依托于大语言模型和语音识别技术的突破，语音交互聊天机器人应用开始兴起，为用户提供了全新的人机交互体验。大语言模型具有强大的自然语言理解和生成能力。通过对话语境分析，大语言模型能够精准捕捉用户的语义意图，结合相关知识并生成合理的回复内容。同时，语音识别技术实现了对人类语音的高准确率识别转录，语音合成技术则可以将文本内容转化...
博客
构建无服务器架构的Slack图像生成助手
11-08 20
引言视觉内容变得越来越重要，无论是营销材料、产品演示还是客户交流，引人入胜的图像和视觉效果可以提高内容的吸引力和影响力。然而，创建高质量的视觉内容通常需要专业的设计技能和昂贵的工具，这对于许多企业是一个挑战。在本文中，我们将介绍如何基于Amazon Bedrock托管的SDXL基础模型构建一个Slack图像生成助手App。该Slack App允许Slack用户通过发送文本提示来请求生成图像，并将生...
博客
无需高端配置也能快速部署Stable Diffusion模型！
11-07 35
本文作者 胡劲松武汉理工大学UC科研团队成员CSDN COC城市社区武汉主理人亚马逊云科技技领云博主Stable Diffusion Web UI是由AUTOMATIC1111开发的基于Stable Diffusion AI模型的人工智能图片处理工具，支持文生图、图生图。该Web UI提供了一个图形化的操作界面，用户无需编写任何代码即可使用Stable Diffusion的所有功能。尽管可以用纯C...
博客
运用Agent搭建“狼人杀”游戏服务器端！
11-07 38
背景从23年开年以来，大模型引爆了各行各业。去年比较出圈的是各类文生图的应用，比如Stable Diffusion。网上可以看到各类解释其背后的原理和应用的文章。另外一条平行线，则是文生文的场景。受限于当时LLM（大语言模型）的能力，其应用场景相当受限。不过，进入到24年以来，Claude 3、LLaMa 3、 Mistral、GPT 4等大模型的能力开始不断增强，将各路榜单分数不断提高。LLM生...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值