探索Amazon Bedrock：构建安全且高效的生成式AI应用

sjufgwgfhoia

于 2024-10-11 23:54:12 发布

阅读量156

点赞数 2

文章标签：人工智能 python

本文链接：https://blog.csdn.net/sjufgwgfhoia/article/details/142865861

版权

引言

随着生成式AI技术的快速发展，许多开发者正在寻找高性能的基础模型（FMs）来构建AI应用。Amazon Bedrock提供了一种无缝集成和扩展的解决方案，它支持多家顶级AI公司的优秀模型。本篇文章将介绍如何使用Amazon Bedrock来构建生成式AI应用，并讨论相关的技术细节和潜在挑战。

主要内容

什么是Amazon Bedrock？

Amazon Bedrock是一个完全托管的服务，提供来自AI21 Labs、Anthropic、Cohere、Meta、Stability AI和Amazon的高性能基础模型。借助Bedrock，你可以私密地定制这些模型，使用诸如微调和检索增强生成（RAG）等技术，以满足特定的业务需求。

如何使用Amazon Bedrock？

Bedrock不仅因为其无服务器架构而易于使用，还能与现有的AWS服务安全集成。以下是一个使用Langchain与Bedrock集成的简单示例：

# 使用API代理服务提高访问稳定性
%pip install --upgrade --quiet langchain_aws

from langchain_aws import BedrockLLM

llm = BedrockLLM(
    credentials_profile_name="bedrock-admin", 
    model_id="amazon.titan-text-express-v1"
)

自定义模型

你可以通过提供特定的ARN来加载自定义模型：

custom_llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    provider="cohere",
    model_id="<Custom model ARN>",  # ARN like 'arn:aws:bedrock:...' obtained via provisioning the custom model
    model_kwargs={"temperature": 1},
    streaming=True,
)

response = custom_llm.invoke(input="What is the recipe of mayonnaise?")
print(response)

使用Guardrails提高安全性

Amazon Bedrock提供的Guardrails功能可以根据特定的用例策略评估用户输入和模型响应，从而提供额外的安全保护层。以下是配置Guardrails的示例：

from typing import Any
from langchain_core.callbacks import AsyncCallbackHandler

class BedrockAsyncCallbackHandler(AsyncCallbackHandler):
    async def on_llm_error(self, error: BaseException, **kwargs: Any) -> Any:
        reason = kwargs.get("reason")
        if reason == "GUARDRAIL_INTERVENED":
            print(f"Guardrails: {kwargs}")

llm = BedrockLLM(
    credentials_profile_name="bedrock-admin",
    model_id="<Model_ID>",
    model_kwargs={},
    guardrails={"id": "<Guardrail_ID>", "version": "<Version>", "trace": True},
    callbacks=[BedrockAsyncCallbackHandler()],
)