- 博客(161)
- 收藏
- 关注
RSS订阅
原创 深入调研亚马逊云科技AI平台Amazon Bedrock热门开发功能
国际数据公司（IDC）在2024 年 8 月发布了《 中国大模型平台市场份额， 2023 ：大模型元年——初局 》调研报告。IDC的数据显示，2023年中国大模型平台及相关应用市场规模达惊人的17.65亿元人民币，且科学计算大模型仍处于蓝海市场，市场中有大量的AI相关的市场和岗位需求。根据麦肯锡报告显示，对该领域的人才需求将从目前的100万增长到2030年的600万，这表明在未来AI就业市场仍有大量机会，提前布局学习AI相关技能将提前享受AI带来的红利。
2024-08-26 23:49:52
3134
15
原创 利用亚马逊云科技云原生Serverless代码托管服务开发OpenAI ChatGPT-4o应用
今天小李哥继续介绍国际主流云计算平台亚马逊云科技AWS上的热门生成式AI应用开发架构。上次小李哥分享了，这次我将介绍如何利用亚马逊的云原生服务Lambda调用OpenAI的最新模型ChatGPT 4o。由于我人在海外，平时都是利用国际云计算平台帮助企业设计AI应用架构，我的文章也将集中在亚马逊、微软、谷歌和甲骨文云计算平台，目的是帮助大家打开视野，了解世界上最前沿的AI和云原生技术。
2024-07-04 23:10:29
2759
6
原创 利用谷歌云serverless代码托管服务Cloud Functions构建Gemini Pro API
谷歌在2024年4月发布了全新一代的多模态模型Gemini 1.5 Pro，Gemini 1.5 Pro不仅能够生成创意文本和代码，还能理解、总结上传的图片、视频和音频内容，并且支持高达100万tokens的上下文。在多个基准测试中表现优异，性能超越了ChatGPT 4。Gemini 1.5 Pro既然功能这么强大，那如何将Gemini 1.5 Pro集成到在谷歌云上或者本地运行的AI软件应用中呢？
2024-06-30 23:58:25
1373
1
原创 利用亚马逊云科技GenAI企业助手Amazon Q Business构建企业代码开发知识库
2024年五一节假日的前一天，亚马逊云科技正式重磅发布了云计算行业期待已久的服务——Amazon Q Business。Amazon Q Business是专为企业用户打造的一个开箱即用的完善而强大企业GenAI助手。
2024-05-02 13:32:53
2942
1
原创 用Amazon Bedrock上最新模型Claude3 Opus制作网页小游戏
目前Skill Builder上已经上线了免费的中文版Amazon Bedrock学习课程，只需要1个小时，就能快速掌握Amazon Bedrock的理论知识、应用场景和实操步骤，中文课程更好的帮助小伙伴们掌握该服务，快速将AI技术应用于自己的工作中。生成下面所示的与Claude 3 Ops交互的代码样例。”是对话消息组成的一个数组，每句对话由一个JSON对象表示，如果是用户发送的消息，role则为”user”,如果是大模型的回复，role则为”assistant”,content的键值则表示对话的内容。
2024-04-17 12:54:18
2152
原创 如何通过API与Amazon Bedrock上的Claude3 交互 （文字+图片测试版）
本次我会举两个例子，分别是调用Amazon Bedrock上的Claude 3模型的API的文字对话测试，以及图片理解测试。在未来的文章中，小李哥会继续带领大家探索Amazon Bedrock的更多功能，如“如何在Amazon Bedrock上构建安全合规、负责任的大模型“，”如何评估Amazon Bedrock上的自定义训练模型“，”如何在Amazon Bedrock上训练自定义模型“，“如何利用Amazon Bedrock构建企业知识库”等，敬请期待。首先我们展示的是与Claude 3对话的场景。
2024-04-03 19:50:41
1933
3
原创 用AI让数据分析更智能-Amazon Q在Amazon Quicksight中的应用
通过 BI 工具的运用，企业可以进行数据分析，挖掘数据的价值，从而为企业业务的发展、运营和企业管理提供支持。那将最近大火的AI赋能到热门的BI领域，在企业的数据分析中会碰撞出怎样的火花呢？今年1月25日，亚马逊云科技（北京）区域上线了数据可视化神器 – Quicksight，这是一项快速、可扩展且完全托管的商业智能（BI）服务，可以基于企业内部的数据轻松创建和发布交互式数据分析控制面板，从此企业用户可以更便捷的将亚马逊云端的数据集成第三方、本地数据进行集中分析，并更轻松的进行数据导向的业务决策。
2024-04-03 19:42:23
1334
1
原创 利用AI Agent在云端搭建智能HR员工助手（下）
使用提供的查询参数从知识库中检索相关文档。有关如何使用Amazon Bedrock创建知识库的更多信息，请参考官方文档。在本示例中，我们使用了一些示例HR政策文档，并同步存储到Amazon S3数据源中。大家还可以访问aws-samples Github代码库中的示例代码，以了解如何使用boto3与Amazon Bedrock的知识库进行交互。},：从知识库中检索到的文档中，提取上下文信息以供大模型进一步处理。此部分可以根据具体需求进行调整。：根据员工ID获取其PTO剩余天数。
2025-02-20 01:12:11
716
5
原创 在云端部署DeepSeek-R1的8种方法
DeepSeek-R1 是一款突破性的生成式AI基础模型，结合了强化学习（Reinforcement Learning）和高效的专家混合（Mixture of Experts, MoE）架构，以较低的成本提供高水平的推理性能。该模型在保持推理、数学和编程能力的同时，也展现出了卓越的资源利用率和低推理成本。本文章介绍了如何在亚马逊云科技环境中，通过最佳实践以不同的部署方式部署该模型的不同版本，包含详细教程和代码示例。
2025-02-19 08:15:00
915
4
原创 使用亚马逊高性能CPU芯片Graviton4部署DeepSeek-R1模型
DeepSeek-R1和DeepSeek-R1 Distill蒸馏模型因其强大的推理能力而广受欢迎。虽然DeepSeek-R1 Distill模型可以在GPU或AI芯片上部署以获得最佳的低延迟和高吞吐性能，但在某些场景下，使用CPU可能提供更优的性价比。结合Amazon Graviton4和EC2 Savings Plan或Spot实例，可以在c8g.16xlarge EC2实例上部署DeepSeek-R1-Distill-Llama-70B，达到适用于批量推理任务计算性能水平。
2025-02-19 07:00:00
986
4
原创 如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（下）
在云端GPU服务器中部署DeepSeek-R1蒸馏模型文章的上篇内容中，我们在本文中介绍了如何配置和安装部署依赖项，在下篇中我们将继续利用Ollama部署DeepSeek，欢迎各位小伙伴们继续关注！最后，设置Ollama Web UI，使用户可以通过Web浏览器与DeepSeek-R1-Distill-Qwen-14B进行交互。在亚马逊云科技管理控制台，导航到EC2页面，在左侧导航栏选择“负载均衡器”（Load Balancers）。
2025-02-18 08:00:00
922
7
原创 如何在云端GPU服务器中部署DeepSeek-R1蒸馏模型（上）
小李哥今天将介绍，如何使用Ollama在云计算平台上，通过Amazon EC2 GPU服务器部署DeepSeek-R1-Distill-Qwen-14B。DeepSeek是坐落于杭州的人工智能公司，近期因其创新的AI模型引起了广泛关注。这些模型不仅在性能上可与国际上领先AI模型媲美，同时具备更高的性价比。该公司于2025年1月20日发布的DeepSeek-R1，在数学、代码和推理任务方面与OpenAI的o1推理模型相当，但成本不到其10%。
2025-02-18 00:55:56
662
2
原创 在亚马逊云科技大模型平台Bedrock上部署DeepSeek-R1蒸馏模型
通过上述步骤，大家可以在Amazon Bedrock上高效部署DeepSeek R1 Distill Llama模型，并借助Bedrock的无服务器基础设施和统一API，实现可扩展、高效的模型推理。
2025-02-17 08:33:28
10867
11
原创 在Kubernetes上部署DeepSeek-R1进行高效AI推理
通过本教程，大家可以高效地在Amazon EKS上部署DeepSeek R1模型，利用其灵活的扩展选项和精细化计算资源控制，在优化成本的同时保持高性能。该方案充分利用了Kubernetes的原生功能，结合Amazon EKS的Auto Mode特性，提供了一种高度自定义的部署方式，可以根据具体的运营需求和预算进行精确调整。如果大家希望进一步探索其他部署模式（如使用Neuron或开源Karpenter进行部署），可以访问GitHub仓库deepseek-using-vllm-on-eks，获取更多代码示例。
2025-02-17 08:32:31
11387
7
原创 利用亚马逊AI代码助手生成、构建和编译一个游戏应用（下）
在上篇文章中中，我们介绍了如何通过亚马逊AI代码生成助手 - Amazon Q Developer代理的代码生成、构建和测试功能，让开发者可以更高效地交付高质量代码项目，同时减少代码中bug错误，提升整体开发体验。在本篇中，我们将通过实验实操和动手实验场景给大家继续介绍Amazon Q Developer加速SDLC整个流程的方案。假设大家希望利用AI为基于React的应用添加新的功能，比如GitHub上的示例项目react-solitaire。
2025-02-16 14:45:07
1215
3
原创 利用亚马逊AI代码助手生成、构建和编译代码应用项目
随着AI在软件开发领域的快速创新，高质量的代码生成需要一个可靠的实时测试运行环境。开发者经常需要花费大量时间调试和迭代AI生成的代码，以确保其符合项目需求，从而导致功能交付延迟。此前Amazon Q Developer开发代理主要专注于代码生成。在最新的版本更新中，该代理现在可以实时构建和测试代码，在开发者审核之前进行代码验证。这一新功能主要针对亚马逊社区开发者，对代码推荐、生成质量的反馈意见，包括检测错误、保持生成的代码与工程项目当前状态同步，并通过简化代码生成和测试流程，加快开发进程。
2025-02-16 11:11:09
628
原创 利用亚马逊云科技RDS for SQL Server配置向量数据存储
生成式人工智能（AI）正迎来又一个快速发展期，引起了开发者们的广泛关注。将生成式能力集成到商业服务和解决方案中变得非常重要。当前的生成式AI解决方案是机器学习和深度学习模型逐步进化迭代的结果。从深度学习到生成式AI的质变飞跃主要是由基础模型（FMs）推动的。亚马逊云科技Bedrock提供了对各种基础模型的便捷访问，并极大地简化了整体开发体验。尽管这些通用模型功能非常强大，但它们无法单独作为特定场景的AI解决方案。要模型生成更具针对性和实用性，需要给AI提供额外的上下文信息。检索增强生成（Retrieval
2025-02-15 13:47:04
1300
4
原创 利用AI智能体创建云端文档知识库并集成第三方数据源（下）
为了将我们自己的数据集集成到本解决方案中，大家需要按照下方的结构化指南进行操作，并根据自己的需求进行调整。这些步骤旨在提供一个无缝、高效的集成流程，帮助大家顺利部署解决方案并使用自己的数据。本方案原始代码已上传到awslabs项目下的代码仓库：genai-bedrock-agent-chatbot. 大家需要先从Github上拉取该项目后，再执行下面的指南操作。
2025-02-15 12:04:30
1064
1
原创 利用AI智能体创建云端文档知识库并集成第三方数据源（上）
许多客户在管理多种数据源时面临挑战，希望能够构建一个聊天机器人来协调这些数据源，并提供全面的答案。本文介绍了一种解决方案，帮助大家开发一个能够从文档和数据库中回答查询的聊天机器人，并且具备简单的部署流程。亚马逊云科技Bedrock是一项全托管服务，通过单一API提供来自AI21 Labs、Anthropic、Cohere、Meta、Stability AI和亚马逊云科技等领先AI公司的高性能基础模型（FMs），并配备一整套构建生成式AI应用所需的安全、隐私和负责任AI能力。在文档检索方面，检索增强生成（Re
2025-02-14 22:56:28
1258
7
原创 生成式AI应用提示注入攻击防御解决方案(下)
在本系列的上篇中，我们介绍了什么是提示词、什么是提示词注入攻击，以及纵深防御提示词注入攻击的策略。在本系列下篇中，我们将继续介绍针对生成式AI应用提示注入攻击的云端解决方案。欢迎大家继续关注小李哥的生成式AI应用安全系列，了解国际前沿的亚马逊云科技解决方案，关注我不要错过未来更多的干货内容！
2025-02-14 13:08:05
1099
3
原创 生成式AI应用提示注入攻击防御解决方案(上)
在深入探讨提示注入防御策略之前，首先需要了解在生成式AI应用的上下文中，提示词是什么，以及如何利用提示词注入来引入恶意的输入。提示词是提供给生成式AI模型的输入或指令，用于引导其生成所需的内容输出。提示词在生成式AI应用中至关重要，它们充当用户意图与模型所能输出的内容之间的桥梁。系统提示、指令或任务：指示AI助手该执行什么任务，或者用户期望输出的内容是什么。它可以是一个问题、一个命令或一个描述任务的文本。系统提示用于预定义模型的行为、设定上下文或定义模型应如何解读和响应用户提示词输入的背景提示。
2025-02-13 13:25:44
1470
5
原创 云原生AI Agent应用安全防护方案最佳实践（下）
在本系列的上篇内容中，我们介绍了云原生AI Agent应用安全防护解决方案，并了解了如何通过Python代码创建Guardrails保护AI Agent应用。在下篇内容中，我将带大家测试我们我们刚创建的Guardrails对于安全对抗性攻击的防护情况。欢迎大家继续关注小李哥的生成式AI应用安全系列，了解国际前沿的亚马逊云科技解决方案，关注我不要错过未来更多的干货内容！
2025-02-13 08:30:00
17340
16
原创 云原生AI Agent应用安全防护方案最佳实践（上）
本文以在线零售聊天机器人为示例，该聊天机器人支持动态工作流，能够基于客户的自然语言查询搜索并推荐鞋类产品。为了实现这一功能，大家使用亚马逊云科技Bedrock Agents构建一个代理工作流。为了测试其对抗性健壮性，大家尝试向该机器人提问有关退休理财建议的问题。通过这个示例，大家可以展示健壮性问题，并利用亚马逊云科技Bedrock Guardrails优化代理工作流，使其避免提供理财建议。在该实现中，代理工作流的预处理阶段（即调用LLM之前的第一个阶段）默认是关闭的。
2025-02-12 23:50:37
1408
3
原创 在亚马逊云科技上一键自动部署Falcon3大语言模型
Falcon 3系列由阿布扎比技术创新研究所（TII）研发，它的出现标志着开源语言模型的重大进步。Falcon系列包含五种基础模型，参数规模从1B（10 亿）到10B（100 亿）不等，该模型专门提升了科学、数学和编程能力，帮助开发者满足日常场景的需求。目前该系列包括的类型有Falcon3-1B-Base、Falcon3-3B-Base、Falcon3-Mamba-7B-Base、Falcon3-7B-Base和Falcon3-10B-Base 以及他们Instruct指令微调优化输出的版本。
2025-02-12 13:26:26
919
2
原创 如何评估云原生GenAI应用开发中的安全风险（下）
以上就是如何评估云原生GenAI应用开发中的安全风险系列中的上篇内容，在本篇中我们介绍了在云原生AI应用开发中不同层级的风险，并了解了如何定义AI系统的风险。在本系列下篇中我们会继续探索我们为我们的云原生AI应用评估风险的背景和意义，并且介绍具体的AI应用风险评估的技术手段和解决方案。
2025-02-11 23:56:30
1420
7
原创 如何评估云原生GenAI应用开发中的安全风险（上）
在 AI 系统的背景下，风险管理可以用来最大程度地减少不确定性或潜在负面影响，同时提供最大化正面影响的机会。风险本身并不是潜在危害，而是指不确定性对目标的影响。根据 NIST 风险管理框架（NIST RMF），风险可以通过事件发生的概率与相应事件的后果大小相乘来估算。风险包含两个方面：固有风险和剩余风险。固有风险表示在没有任何缓解措施或控制手段的情况下，AI 系统所展现的风险水平。而剩余风险则是在考虑了缓解策略后，仍然存在的风险。请始终牢记，风险评估是一项以人为本的活动，需要整个组织的协作。
2025-02-11 23:54:35
513
原创 亚马逊云科技Bedrock知识库自定义语义搜索配置教程
Bedrock知识库的最大检索结果数量选项，允许大家调整从向量存储中检索并传递给AI模型生成答案的搜索结果数量。这使AI模型在回答用户问题时，能够根据复杂问题提供更多背景信息，或者对于简单问题减少不必要的信息量。大家利用知识库最多可以检索100条结果，这个选项可以提供更多的相关上下文的搜索结果，从而提高准确性，并减少模型生成幻觉的情况。自定义知识库提示模板允许大家替换默认的提示模板，以自定义发送给模型的提示词。这使大家可以自定义模型的语气、输出格式和行为，以适应不同的用户需求。
2025-02-10 12:00:00
1323
5
原创 使用AI Agents集成外部API开发智能客服解决方案（下）
小李哥在本系列上篇中为大家介绍了，基于亚马逊云科技的汽车零售行业的客服解决方案以及整个工作流程。本系列下篇中，我们将手把手开发构建这个智能客服。
2025-02-10 07:30:00
2685
3
原创 使用AI Agents集成外部API开发智能客服解决方案（上）
生成式AI的出现已经彻底改变了传统客服，为开发者和企业提供了更快速、更准确、更个性化的响应能力。其中由大语言模型（LLM）驱动的AI代理能够分析复杂的客户咨询，访问多个数据源，并提供相关的详细答案。在本文中，小李哥将带大家探索如何将亚马逊云科技Amazon Bedrock Agents与企业数据API集成，从而打造更具个性化和高效的客户支持体验。本文的解决方案适用于各个行业，但我们将以汽车零部件零售商为案例进行讲解。
2025-02-09 18:15:00
1161
10
原创 5分钟手把手教你学会在亚马逊云科技上设计AI智能体Agent（下）
在本系列上篇中中，我们介绍了如何在亚马逊云科技上创建一个AI智能体Agent，并配置一个Agent交互操作组，用于Agent与外部系统和数据交互。我们首先展示的是Return Control（返回控制省）调用模式，让调用Agent的用户或应用决定如何生成任务执行中的响应，省去开发API调用代码的工作量。在本篇中，小李哥将会为大家介绍如何通过Lambda函数调用模式，帮助Agent调用外部的功能API完成任务。
2025-02-09 12:41:10
464
原创 5分钟手把手教你学会在亚马逊云科技上设计AI智能体Agent（上）
在 Agent 资源角色（Agent resource role） 部分，我保持默认设置 Create and use a new service role，这样 Agent 假设的 AWS Identity and Access Management (IAM) 角色 会自动创建，无需手动配置。在 Instructions for the Agent（Agent 指令） 部分，我提供了清晰且具体的任务指令，确保 Agent 知道自己需要执行的任务。此外，我还可以 指定 Agent 回复的风格和语气。
2025-02-08 23:58:16
1363
5
原创 在亚马逊云科技上云原生部署DeepSeek-R1模型(下)
完成部署后，我们可以使用SageMaker SDK提供的API，通过代码调用模型，并将其集成到大家的应用程序中。在接下来的下篇中小李哥将继续介绍，如何利用亚马逊的AI模型训练平台SageMaker AI中的，Amazon Sagemaker JumpStart通过脚本轻松一键式部署DeepSeek预训练模型。我们可以在部署后实时监控模型运行情况，并根据我们的业务需求调整这些算力设置。在部署模型之前，各位开发者一定要先阅读模型详情和许可条款，以确保其与大家的使用场景兼容，同时保证大家拥有使用的授权。
2025-02-08 11:41:56
1461
10
原创 在亚马逊云科技上云原生部署DeepSeek-R1模型(上)
DeepSeek-R1在开源版本发布的第二天就登陆了亚马逊云科技AWS云平台，这个速度另小李哥十分震惊。这又让我想起了在亚马逊云科技全球云计算大会re:Invent2025里，亚马逊CEO Andy Jassy说过的：随着目前生成式AI应用规模的扩大，云计算的成本变得至关重要，大家都在寻求具有高性价比的AI模型。其次开发一个真正优质生成式AI应用真的不容易，当我们自由选择 AI 模型开发应用时，最终会形成多元化的模型生态。这说明：不会存在一个通用模型能满足所有需求。
2025-02-07 13:09:58
3323
14
原创 云安全圣经-亚马逊CISO的云开发10大箴言（下）
亚马逊云科技建议大家将日志，特别是基于云端API调用的AWS CloudTrail，写入专门用于日志存储的AWS账户（日志归档账户，Log Archive）中的S3存储桶长期独立保存。因为众所周知，在组织的安全体系中，最不确定的安全因素就是人为的因素。小李哥已经和大家一起了解了亚马逊CISO的云安全的十大箴言，欢迎大家根据以上的原则在大家的账户中也进行实施和配置，放心地构建和开发大家的安全的云端应用。企业中的安全团队应该让安全变得更简单更容易实施，让最简单、最符合开发者习惯的操作，成为最安全的操作。
2025-02-07 11:10:19
777
4
原创 云安全圣经-亚马逊CISO的云开发10大箴言（上）
当亚马逊云科技需要联系大家的账户时，我们会使用 AWS 管理控制台 中定义的联系信息，包括用于创建账户的电子邮件地址，以及列在备用联系人（Alternate Contacts） 下的电子邮件地址。大家还应该建立定期检查 这些邮箱是否正常工作的流程，确保能够及时回复邮件——特别是来自AWS abuse团队的安全通知。在亚马逊云科技上构建应用时，可以使用 AWS IAM 角色 提供临时的、短期的访问凭证，以调用 AWS 服务。大家应该确保仅开放必要的端口，并且仅允许来自受信任的 IP 地址或网段的访问。
2025-02-06 23:28:31
1180
5
原创 AI安全最佳实践：AI云原生开发安全评估矩阵（下）
明确企业的数据管理要求，并确保与法律和采购部门密切合作，以评估这些要求如何适用于 Scope 1 或 Scope 2 的应用程序。上篇小李哥带大家一起了解了什么是AI应用云原生开发安全评估矩阵，并且介绍了利用该矩阵如何确定我们云上AI应用的安全评估范围，接下来我们将继续本系列的下篇，基于该安全评估矩阵设计和实施我们系统应具备的安全控制。模型在发布后是静态的，不会存储新的数据，也无法直接调整推理结果。，让模型从外部数据库检索数据，而不是直接嵌入数据到模型中，从而在不暴露敏感数据的情况下提供个性化推理结果。
2025-02-06 23:18:01
924
原创 AI安全最佳实践：AI应用开发安全评估矩阵（上）
生成式人工智能（生成式 AI）正在吸引各大企业的关注，并在全球各行各业中重塑客户体验。这一 AI 能力的飞跃，由。
2025-02-05 23:57:56
1045
1
原创 Redis闭源了？来亚马逊云科技云科技上用开源省钱的Valkey（下）
去年10月亚马逊云科技宣布其缓存服务Amazon ElastiCache已支持Valkey 7.2版本，并推出更低成本的Serverless版本和自托管集群方案。与其他数据库引擎相比，Valkey的Serverless版本的价格大幅降低33%，而子托管集群的价格可以降低20%。当大家创建ElastiCache Serverless for Valkey时，可以在不到一分钟的时间内即可创建完成，使用价格低至低至6 美元/月。
2025-02-05 23:48:07
1002
原创 生成式AI安全最佳实践 - 抵御OWASP Top 10攻击 (下)
在本文中，大家了解了如何利用亚马逊云科技生成式 AI 安全范围矩阵，从安全共享责任的角度对生成式 AI 应用进行分类。我们回顾了一个常见的生成式 AI 助手应用架构，并利用 OWASP 针对大语言模型的 Top 10 框架评估了其安全态势，同时展示了如何利用亚马逊云科技服务控制和服务应用 OWASP Top 10 对 LLM 威胁的缓解措施，从而强化生成式 AI 助手应用的架构。想了解更多关于如何使用亚马逊云科技 Workshops for Bedrock 构建生成式AI应用的信息，请继续关注。
2025-02-04 23:57:02
1487
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人