基于Amazon EKS自建高可用Dify社区版

于 2024-11-12 13:56:20 发布
阅读量552 收藏 2
点赞数 1
原文链接：https://mp.weixin.qq.com/s?__biz=Mzg4NjU5NDUxNg==&mid=2247585610&idx=2&sn=aee91d521dfe4b10096830e4fe6d379f&chksm=ceff0fe11a7d7ba4291d38c870382f686730f8f1a8802d917821a26afbb1381b44942c2dbb54&scene=126&sessionid=0
版权

22146b3a56f73d49c04ee1a48961d69d.gif

生成式AI和大语言模型（LLM）不仅大大提升了个人的信息获取和工作效率，也正在重塑企业应用。很多企业正在探索基于LLM、RAG和Agent的生成式AI应用，通过与私域数据和现有的应用结合，来打造更创新、更具价值和更个性化的用户体验。

Dify架构及核心组件

Dify是一款开源LLM应用开发平台，提供了三种使用模式：商业化版本Dify Cloud（SaaS模式），自建Dify社区版（免费），自建企业版。本文主要介绍如何基于Amazon EKS自建高可用Dify社区版。

下图为基于Amazon EKS部署Dify的架构。

4974bfd7b2db232aa728752bc78780f1.png

Dify基于Amazon EKS的架构图

Dify包括3个业务服务组件api/worker/web(Frontend)，除此之外，还有6个基础组件vector db/db/redis/nginx/ssrf_proxy/sandbox。为了实现生产级高可用性，我们使用多个亚马逊云科技托管服务用作基础组件，包括Amazon S3、Amazon ElastiCache for Redis、Amazon Aurora PostgreSQL、ALB等。Dify支持多种向量数据库产品，包括OpenSearch、Zilliz/Milvus、Qrdrant、Weaviate等，本文使用部署在Amazon EKS中的Milvus。

一、前置条件

Dify有几个关键组件需要提前部署，包括：

  • Amazon EKS和Milvus，可参考链接1。

  • Amazon Aurora PostgreSQL，可以使用Serverless版，具体请参考链接2。

  • Amazon ElastiCache for Redis，可以使用Serverless版，具体请参考链接3。

本方案中的所有组件都支持使用Amazon Graviton3芯片的Amazon EC2实例，在部署时选择Amazon Graviton3实例可以获得更高的性价比。在基于Amazon Graviton3的Milvus博客中，测试结果显示Amazon Graviton3可以实现高达31%的性价比提升。

链接1

https://aws.amazon.com/cn/blogs/china/build-open-source-vector-database-milvus-based-on-amazon-eks/

链接2

https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraPostgreSQL.html

链接3

https://docs.aws.amazon.com/AmazonElastiCache/latest/red-ug/GettingStarted.html

基于Amazon Graviton3的Milvus

https://aws.amazon.com/cn/blogs/china/milvus-achieves-up-to-31-price-performance-improvement-using-amazon-graviton3-instances/

二、Dify基于Amazon EKS部署步骤

Dify官方支持Docker Composer，以及源码部署的方式，具体参考下方链接。但是这两种方式未能照顾到高可用环境，更多是用于开发和测试环境的快速部署。

https://docs.dify.ai/v/zh-hans/getting-started/install-self-hosted

作为生产高可用环境，推荐以Helm Charts的方式部署在Amazon EKS上。本文使用该Chart进行部署，具体参考下方链接。

https://github.com/douban/charts/tree/master/charts/dify

在部署的时候需要做一些调整，比如使用Amazon S3替代minio用作对象存储，使用Amazon Application Load Balancer用作Amazon EKS Ingress，使用Amazon Aurora PostgreSQL替代内置PostgreSQL等，使用Amazon ElastiCache for Redis代替内置Redis。

部署中要使用到Amazon AK/SK、数据库的账号密码等敏感信息，我们使用K8s Secret进行存储，并推荐使用Amazon KMS进行加密，具体参考以下链接。

https://docs.aws.amazon.com/eks/latest/userguide/enable-kms.html

请注意，进行以下步骤前，请确保已经完成前置条件。

1.安装Helm，具体参考下方链接；

https://helm.sh/docs/intro/install/

2.添加Helm repo。

helm repo add douban https://douban.github.io/charts/
helm update

左右滑动查看完整示意

3.确保kubectl可以连接到您的Amazon EKS集群。使用如下命令创建Secret对象，用于存储Amazon AK/SK及PostgreSQL、Milvus和Redis的密码。这些密码需要转换为base64编码，可以使用echo -n "<password>" | base64命令快速获取base64编码。SECRET_KEY是Dify用来安全地签名会话cookie并加密数据库中的敏感信息的密钥，可以使用openssl rand -base64 42命令生成强密钥。MILVUS_PASSWORD可以在Milvus向量数据库中进行设置，默认为Milvus。Amazon ElastiCache for Redis除了用作缓存，也被用作Celery的消息队列，CELERY_BROKER_URL就是用来配置Celery的Broker，格式为redis://<redis_username>:<redis_password>@<redis_host>:<redis_port>/<redis_database>因为这个URL中涉及到Redis的密码，所以我们将其放在Secret中。

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Secret
metadata:
  name: dify
type: Opaque
data:
  SECRET_KEY: <Replace your SECRET KEY here>
  S3_ACCESS_KEY: <Replace your S3 ACCESS KEY here>
  S3_SECRET_KEY: <Replace your S3 SECRET KEY here>
  DB_PASSWORD: <Replace your PostgreSQL PASSWORD here>
  MILVUS_PASSWORD: <Replace your MILVUS PASSWORD here>
  REDIS_PASSWORD: <Replace your REDIS PASSWORD here>
  CELERY_BROKER_URL: <Replace your CELERY BROKER URL here>
EOF

左右滑动查看完整示意

4.创建values.yaml。需要替换<>中的内容，包括host、image tag、vector store、MILVUS_HOST、S3_ENDPOINT、S3_REGION、S3_BUCKET_NAME、DB_USERNAME、DB_HOST、REDIS_HOST和ingress等。我们禁用了Dify自带的对象存储minio、Redis和PostgreSQL，使用Amazon S3、Amazon ElastiCache for Redis和Amazon Aurora替代。

  • host：ALB对应的自定义域名，建议开启TLS，host需要保持和DNS提供商注册的自定义域名一致。

  • image tag：具体查看下方链接，建议选择新版本的Dify。

https://github.com/langgenius/dify/releases

  • vector store和MILVUS_HOST：向量数据库配置。可选的配置有如下选项，本次案例使用的是Milvus。

           ①weaviate；

           ②qdrant；

           ③milvus；

           ④zilliz，与 milvus 一致；

           ⑤OpenSearch；

           ⑥tidb_vector。

  • S3_ENDPOINT、S3_REGION和S3_BUCKET_NAME：修改为您自己的Amazon S3 Endpoint、Region、Bucket name。

  • DB_HOST、DB_USERNAME和DB_DATABASE：修改为您自己的PostgreSQL数据库的信息，本例子中使用的是Aurora PostgreSQL。

  • REDIS_HOST和REDIS_USERNAME：修改为您自己的Amazon ElastiCache for Redis的信息，建议开启密码认证，同时设置REDIS_USE_SSL为true。

  • ingress：您的Amazon EKS的Ingress配置，使用Amazon Load Balancer Controller来创建Ingress。强烈建议开启HTTPS，并进行对应的设置，详见下方链接。开启HTTPS同时需要设置enableTLS为true，并将alb.ingress.kubernetes.io/certificate-arn替换为域名的ACM证书ARN。请确保您的Amazon EKS Ingress是正常工作的。

global:
  host: "<your domain name>"
  enableTLS: true


  image:
    # Set to the latest version of dify
    # Check the version here: https://github.com/langgenius/dify/releases
    # If not set, Using the default value in Chart.yaml
    tag: "0.7.2"
  extraBackendEnvs:
  # The log output level. Default is INFO. For production environments, it's recommended to set this to ERROR
  - name: LOG_LEVEL
    value: "ERROR"
  - name: SECRET_KEY
    valueFrom:
      secretKeyRef:
        name: dify
        key: SECRET_KEY
  # milvus
  - name: VECTOR_STORE
    value: "milvus"
  - name: MILVUS_HOST
    value: "<your Milvus endpoint>"
  - name: MILVUS_PORT
    value: "19530"
  - name: MILVUS_USER
    value: "root"
  - name: MILVUS_PASSWORD
    valueFrom:
      secretKeyRef:
        name: dify
        key: MILVUS_PASSWORD
  - name: MILVUS_SECURE
    value: "false"
  # External S3 bucket
  - name: S3_ENDPOINT
    value: "https://s3.<your region code>.amazonaws.com"
  - name: S3_REGION
    value: "<your region code>"
  - name: S3_BUCKET_NAME
    value: "<your bucket name>"
  - name: S3_ACCESS_KEY
    valueFrom:
      secretKeyRef:
        name: dify
        key: S3_ACCESS_KEY
  - name: S3_SECRET_KEY
    valueFrom:
      secretKeyRef:
        name: dify
        key: S3_SECRET_KEY
  # External postgresql
  - name: DB_USERNAME
    value: "<your postgres username>"
  - name: DB_PASSWORD
    valueFrom:
      secretKeyRef:
        name: dify
        key: DB_PASSWORD
  - name: DB_HOST
    value: "<your postgres endpoint>"
  - name: DB_PORT
    value: "5432"
  - name: DB_DATABASE
    value: "<your postgres database>"
  # External Redis
  - name: REDIS_HOST
    value: "<your redis endpoint>"
  - name: REDIS_PORT
    value: "6379"
  - name: REDIS_DB
    value: "0"
  - name: REDIS_USE_SSL
    value: "true"
  - name: REDIS_USERNAME
    value: "<your redis username>"
  # it is adviced to use secret to manage you sensitive info including password
  - name: REDIS_PASSWORD
    valueFrom:
     secretKeyRef:
       name: dify
       key: REDIS_PASSWORD
  # CELERY_BROKER_URL, format: "redis://<redis_username>:<redis_password>@<redis_host>:<redis_port>/<redis_database>"
  - name: CELERY_BROKER_URL
    valueFrom:
      secretKeyRef:
        name: dify
        key: CELERY_BROKER_URL
  - name: BROKER_USE_SSL
    value: "true"


ingress:
  enabled: true
  className: "alb"
  annotations:
    kubernetes.io/ingress.class: "alb" # Annotation: set ALB ingress type
    alb.ingress.kubernetes.io/scheme: "internet-facing" #Places the load balancer on public subnets
    alb.ingress.kubernetes.io/target-type: "ip" #The Pod IPs should be used as the target IPs (rather than the node IPs)
    alb.ingress.kubernetes.io/certificate-arn: "<your domain URL certificate ARN>"
    alb.ingress.kubernetes.io/listen-ports: '[{"HTTP": 80}, {"HTTPS": 443}]'
    alb.ingress.kubernetes.io/ssl-redirect: '443'


minio:
  embedded: false


postgresql:
  embedded: false


redis:
  embedded: false

左右滑动查看完整示意

https://docs.aws.amazon.com/eks/latest/userguide/aws-load-balancer-controller.html

1.执行如下命令进行安装。

helm install dify douban/dify -f values.yaml

左右滑动查看完整示意

2.Dify的核心服务如api、worker、frontend、sandbox默认配置为一个副本，为了提高高可性，需要增加副本数量。使用以下配置创建new_values.yaml，并运行helm upgrade dify douban/dify -- reuse-values -f new_values.yaml命令进行更新。

frontend:
  replicaCount: 2


api:
  replicaCount: 2


worker:
  replicaCount: 2


sandbox:
  replicaCount: 2

左右滑动查看完整示意

3.验证安装。使用kubectl get ingress命令获取Endpoint，如果能正确获取，浏览器打开HOSTS即可访问。

NAME   CLASS   HOSTS                  ADDRESS                                 PORTS   AGE
dify   alb     dify.yourcompany.com   dify-xxxx.us-west-2.elb.amazonaws.com   80, 443 10d

左右滑动查看完整示意

总结

本文基于Amazon EKS，自建部署了Dify社区版，使用Amazon S3、Amazon Aurora Postgre SQL、Amazon ElastiCache for Redis等替代了Dify内置对象存储、PostgreSQL和Redis，并且增加了Dify核心服务的副本数量，实现了生产级别高可用。

关于Dify的使用，请参考亚马逊云科技博客。感兴趣的读者快亲自动手尝试吧！

亚马逊云科技博客

https://aws.amazon.com/cn/blogs/china/get-started-with-generative-ai-by-integrating-bedrock-claude3-with-dify/

参考资料

1.Dify：

https://docs.dify.ai/

2.基于Amazon EKS的Milvus 

https://aws.amazon.com/cn/blogs/china/build-open-source-vector-database-milvus-based-on-amazon-eks/

3.Amazon Aurora PostgreSQL：

https://docs.aws.amazon.com/AmazonRDS/latest/AuroraUserGuide/Aurora.AuroraPostgreSQL.html

4.Dify与Amazon Bedrock中的大语言模型集成：

https://aws.amazon.com/cn/blogs/china/get-started-with-generative-ai-by-integrating-bedrock-claude3-with-dify/

本篇作者

4eddea1ad3913fdea0ee8eaf36f1d044.jpeg

吴万涛

亚马逊云科技解决方案架构师，负责亚马逊云科技云上解决方案架构设计和咨询，十几年IT行业从业经历，在网络、应用架构、容器等领域有丰富的经验。

5af8e55ee2475556bcbad70cd1b06ef0.jpeg

白雪尧

亚马逊云科技解决方案架构师，对现代化应用架构、数据分析有丰富经验，对半导体设计行业等行业有相关经验。

70d0be29eb06fe0784a7d06311354f26.png

4a14233e1e9e0622699a0667232e9ca0.png

e2a5701903e792050bfad27934a22086.jpeg

a3bccc6a8414ddc39261191df14b5044.png

6da9aecbc1d162a6e1cca65115e4f71f.gif

星标不迷路，开发更极速！

关注后记得星标「亚马逊云开发者」

听说，点完下面4个按钮

就不会碰到bug了！

5a92c0ea5da50cb6634bd0aaf6ad8964.gif

点击阅读原文查看博客！获得更详细内容！

博客
企业DevOps探讨：“谁构建、谁运行”原则的理论基础
12-30 9436
“谁构建，谁运行” --沃纳·沃格尔这样的场景大家想必不会陌生：我们正与家人共度美好时光，突然刺耳的电话铃声嗡嗡响起，我们的注意力也为之吸引。听筒中的尖叫声告知，我们的应用程序——也就是那些定期受到内存泄漏侵扰、但重启之后又能恢复正常的小冤家们——现在终于彻底起义了，服务器资源在几分钟之内就被其彻底榨干。目前该应用已经无法正常起效，而运维团队除了尝试重启与回滚之外无法可想——而最新
博客
企业DevOps：实施过程中需要关注的各项要点
12-29 8061
作者：亚马逊云科技企业市场战略总监Stephen Orban“经验并非凭空创造，而是依靠点滴积累所实现” ---阿尔贝·加缪在此次的企业DevOps探索之旅系列文章当中，我将带大家一同探讨企业在具备一定DevOps经验之后又该如何处理下一步可能面临的状况。当然，这些只是我个人在接触自动化、面向客户服务之IT体系以及“谁构建、谁运行”方面事务的同时积累下的一些心得体
博客
将DevOps纳入企业环境引发的思考
10-13 6329
作者：亚马逊云科技企业市场战略总监Stephen Orban“发展是一种以渐进式改善为载体的持续性行为”——英德拉瓦蒂虽然DevOps可以算是相对新鲜的概念，不过在我看来、其本质思路很早之前就已经出现。从这个角度看，目前很多企业已经广泛接纳这一概念并将其作为文化性产物看待，具体而言就是将大量原本孤立的团队融合起来，从而实现速度更快、频率更高且更为可靠的工作成果。我个人非常幸运
博客
利用Amazon Machine Learning与Amazon Redshift建立二进制分类模型
09-07 8246
日常生活中的大部分决策都以二进制形式存在，具体来说就是这类问题能够以是或者否来回答。而在商业活动中，能够以二进制方式回答的问题也有很多。举例来说：“这种情况是否属于交易欺诈？”，“这位客户是否会购买该产品？”或者“这位用户是否存在流失风险？”等等。在机器学习机制中，我们将此称为二进制分类问题。很多商业决策都能够通过准确预测二进制问题的答案来得到强化。Amazon Michine Learning（
博客
利用Amazon Mobile Analytics与R深入探究移动应用的使用模式
08-31 6785
作者：Sandeep Atluri 亚马逊数据科学家要真正鼓励用户使用我们的移动应用程序，最重要的前提就是深入了解用户使用应用程序时的行为模式，而后据此作出体验优化。不过通过应用程序事件数据来找出有意义的模式往往极具挑战性，而标准KPI所提供的诸如月度活跃用户（简称MAU）以及每日活跃用户（简称DAU）并不足以勾勒出完整的图景。举例来说，所发布应用在过去三十天中的用户开启次数能够帮
博客
亚马逊云科技使用心得：当初我曾错过的那些宝贵经验
07-08 2万+
在今天的文章中，我整理出了大量当初曾经错过、而至今仍将我追悔莫及的亚马逊云科技（Amazon Web Services）使用心得。在几年来的实践当中，我通过在亚马逊云科技之上新手构建及部署各类应用程序而积累到了这些经验。虽然内容有些杂乱，但相信仍然能给各位带来一点启示。从物理服务器向“云环境”转移的过程不仅仅是一项技术任务，同时也意味着我们的思维方式需要作出针对性的转变。总体而言，在物理环境下我们
博客
基于 Amazon Nova 和 TEN 框架的实时音视频交互解决方案
04-25 404
随着人工智能技术的飞速发展，实时音视频交互应用逐渐成为市场热点。从智能语音助手到多模态教育平台，企业对高效、低延时且可扩展的解决方案需求日益增加。借助 Amazon Nova 系列模型、Amazon Transcribe 和 Amazon Polly 等亚马逊云科技服务，您可以轻松构建功能强大的实时音视频交互系统。本文将深入介绍这些服务如何协同工作，帮助开发者打造卓越的用户体验。在客户需求调研中，我们发现许多企业希望构建一个基于 AI 的实时音视频助手，以实现多模态的交互体验。
博客
Amazon Q 从入门到精通 – 集成企业代码库
04-24 789
此外，Amazon Q Developer 通过提供使用 Amazon Key Management Service（Amazon KMS）中客户管理的密钥加密您的定制数据的选项，帮助确保您代码的安全。根级别的任何文件都将被忽略。在 IDE 中使用创建好的 User 来登录 Amazon Q 之后，正常情况下，AmazonQ 的面板可以用快捷键来打开和关闭，对于苹果电脑，按下 Shift + Command + P 快捷键，对于 Windows 电脑，按下 Shift + Ctrl + P 快捷键。
博客
使用Amazon Q Developer构建企业自动化代码审核流程
04-24 14
传统的代码审核通常依赖于团队成员之间的相互审查，这不仅耗时，而且可能受到审核者经验和专业知识的限制。其主要功能包括代码生成、调试、故障排除和安全漏洞扫描，提供一站式代码服务，本文主要介绍其代码审核的能力。Amazon Q会检查集成到您的代码中的第三方组件、库、框架和依赖关系，确保第三方代码是安全和最新的。，该系统能够在开发者提交代码或创建合并请求时，自动分析代码变更，提供全面的审核意见，帮助团队保持高质量的代码标准。会自动审查您正在编写的文件，一旦在您的代码中检测到代码问题，就会立即生成代码问题。
博客
用Amazon Q Developer CLI构建平台跳跃游戏，全程无需编程！
04-24 14
提示词中文大意：参考项目https://github.com/clear-code-projects/PirateMaker中的代码方法和实现，用Python设计一款完整的平台游戏。分析一款公开的游戏项目作为基础知识参考，它生成了一款较完整的经典平台跳跃游戏架构，其中包含了复杂的关卡管理、物理系统和敌人系统等。进行修改的方法，对于设计一款真正全面的平台跳跃游戏来说是不够的。您可点击观看下方视频，体验这款完全由AI生成的游戏开发过程的沉浸式演示（体现了氛围编程的方法），供各位开发者参考。
博客
在Amazon Graviton上运行大语言模型，实测CPU推理性能
04-23 27
较小的8B模型由于参数体积更小，对计算资源的利用率更高，因此对实例硬件配置的差异会表现出更明显的性能差异。以模型DeepSeek-R1-Distill-Llama-8B-Q4_0.gguf为例，在确定运行4bit量化的8B参数模型所需的虚拟机vCPU和内存配置时，需综合考虑模型存储、计算需求和系统开销。随着vCPU核心数从8核增加到16核，再到24核，pp512的吞吐量也呈现出近乎线性的增长趋势，说明对于这类计算密集型的工作负载，增加更多的计算资源能够有效提升系统的。
博客
Werner Vogels：简单易用就是Amazon S3的核心优势
04-23 11
不过，在解决这一规模的问题时，还有一些更微妙的方面需要考虑：我们需要仔细评估桶名称数量增加带来的影响、程序化创建桶对应用设计的安全性影响，甚至涉及性能和用户界面（UI）的优化。但我当时并没有意识到，我们的工程团队会花这么多时间与Amazon S3客户的工程师交流，了解他们如何使用Amazon S3，而这些外部开发者的反馈对我们的功能优先级影响之大，远超我的想象。但现在，我想对“简单”做一点自我反思：在我提到的几乎所有例子中，我们对简单性的改进，实际上都是针对最初的功能，而这些功能在推出时并不够简单。
博客
Amazon Q 从入门到精通 – 加速构建亚马逊云基础设施
04-23 573
当反复交谈，得到了最终满足需要的提示词，即可在 Chat 窗口里输入/dev 并回车，使 Amazon Q 进入智能体模式，然后将上一个步骤的最终提示词输入后并回车，Amazon Q 将真正进行编码工作，在指定的目录里，创建出建议的 CDK 代码，如下图所示。缺点：CDK 代码本身有较大的学习成本，当开发人员具体为不同资源进行编码的时候，熟悉每一个资源的编码细节是必须的工作，为此，在实际编码的过程中，开发者不得不经常查阅开发手册，亦是十分耗时费力。
博客
使用Amazon Bedrock，运行MCP桌面客户端
04-22 24
us.anthropic.claude-3-7-sonnet-20250219-v1:0——适用于Claude Sonnet 3.7。该设置与Claude桌面设置不同的是，您只需执行相应的命令即可。作为一位生成式AI专家，Ninad拥有丰富的人工智能与机器学习经历，曾与咨询公司、初创企业以及不同行业领域的企业客户合作。MCP桌面客户端提供了基于GUI的接口，使用户无需编写代码即可在本地设置MCP工具或第三方工具。然后在“命令”一栏中，使用刚才提取的命令，点击“添加”后，第一个MCP设置完成。
博客
Amazon GameLift高阶使用技巧：部署游戏引擎专用服务器
04-22 37
这种容器化部署方案不仅简化了游戏服务器的管理流程，还提供了更好的资源利用率和扩展能力，使开发团队能够专注于提升玩家体验。同时，借助Amazon GameLift提供的会话管理、自动伸缩和监控告警等功能，开发团队可以更轻松地保障游戏服务的稳定性和玩家体验。容器组用于运行游戏服务器应用程序，是托管游戏会话和玩家的必需组件。是一个配置蓝图，用于定义如何将容器化游戏服务器部署到容器机群中，包含游戏服务器容器和支持容器的配置信息。在快速发展的游戏行业中，游戏服务器的部署和维护一直是开发团队面临的重要挑战。
博客
大语言模型助力 Support Case 分析，提升云服务效率
04-22 1046
利用大语言模型整理技术工单（Support Case）具有显著价值，可通过分析大量案例识别常见问题、建立知识库、制定培训计划、支持决策及预测需求。方案采用 EventBridge 定时触发 Lambda 函数，通过 Support API 整理工单数据，将其存储至 S3，利用 SageMaker 或 Bedrock 进行分析，分类问题类型并生成总结报告。分析结果可在 QuickSight 上展示，支持企业优化资源分配和服务策略。该解决方案架构清晰、成本低廉，为企业提供高效的技术支持工单管理与分析能力。
博客
基于亚马逊云科技 Amazon Bedrock Tool Use 实现 Generative UI
04-21 964
因此，一个更优的方案是利用 LLM 的 Tool Use（工具调用）能力，通过预定义的函数接口来生成标准化的 Web 前端组件。数据查询：将自然语言转换为结构化查询语言（比如 GraphQL 或自定义查询 DSL），尤其是 text2sql 场景，LLM 生成的 SQL 直接运行查询并不可靠，而且还需要做额外的提示词工程来规避不同计算引擎 SQL 语法兼容性的问题；虽然 LLM 具备生成 HTML/CSS 代码的能力，但这种方式往往缺乏标准化和可靠性，生成的代码质量参差不齐，难以维护和复用。
博客
Amazon GameLift高阶使用技巧：FlexMatch优化游戏匹配
04-21 34
在standalone模式中，由于不会真实的拉起服务器，因此没有GameSessionInfo相关信息，需要等待Amazon SNS的MatchMakingSucceeded的事件，比如以下示例。关于acceptance timeout seconds设置的建议，考虑到接受event的速度，响应调用API耗时，偶尔的网络抖动等原因，可以考虑先设置为5-10秒。*注意：为了模拟玩家因为分开池子后的减少情况，本例会在非全匹配的模式中，加倍每个请求的随机等待时间，比如原来只有1-3秒，现在变为2-6秒。
博客
效率提升70%！基于RAG和Dify打造智能销售话术推荐系统
04-21 30
下图是基于Dify构建的工作流示意，基于诸如LLM节点、代码执行模块等多种组件，通过拖拉拽和简单的配置，即可快速搭建LLM应用，不需要开发能力。此外，为了提高数据块的信息密度，可以考虑利用LLM作为事实提取器，从原始文档中筛选和提炼关键信息。亚马逊云科技解决方案顾问，致力于云计算、生成式AI的市场挖掘和洞察分析，具有丰富的云和AI咨询经验，为客户提供数字化转型咨询，帮助加速企业客户业务发展和创新。技术，以更精细的方式计算查询与文档之间的匹配度，相比于仅基于向量相似度的检索方式，能够提供更高质量的结果。
博客
相得益彰 — 基于 GraphRAG 事理图谱驱动的实时金融行情新闻资讯洞察
04-20 1027
在当今这个信息爆炸的时代，金融市场每天都在产生海量的新闻资讯。这些新闻不仅仅是简单的信息，更蕴含着丰富的企业动态、行业变化和潜在风险信号。一则新闻背后往往隐藏着复杂的事件链条——一家公司的高管变动可能与其新业务布局相关，而这个业务转型又可能暗示着财务状况以及股市的变化。信息大爆炸的时代，新闻资讯对金融市场的影响力日渐加强。每一个投资者每天都需要关注大量的各类金融信息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值