- 博客(231)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 ALB流控功能Target Optimizer Agent逆向原理分析
AWS ALB Target Optimizer 工作原理分析 本文通过逆向分析 AWS 2025 年发布的 ALB Target Optimizer 组件，揭示了其核心工作机制。该功能通过轻量级 Sidecar 代理（Target Control Agent）实现容量感知的负载均衡。 核心发现： 采用双平面架构分离数据流（HTTP/HTTP2）和控制信号（gRPC over TLS） Agent 作为内联反向代理，精确统计并发请求数 通过双向流式 gRPC 协议实现动态工作令牌分配机制 ALB 提供全局视
2026-03-30 11:16:58
364
原创 [INFRA] EMR集群节点下线 (Decommission) 机制和逻辑深入分析
HDFS/YARN节点下线机制解析 EMR节点下线采用三层协同机制：控制面→实例控制器→HDFS/YARN。控制面通过8443端口下发指令，实例控制器每30秒检测缩容需求并更新exclude文件，HDFS/YARN则执行优雅下线。关键配置文件包括yarn.nodes.exclude.xml和dfs.hosts.exclude。 Task节点下线仅涉及YARN，进入DECOMMISSIONING状态后不再分配新容器，但允许现有容器完成或等待超时（默认3600秒）。Core节点则需双重下线流程，同时处理HDFS
2026-03-25 18:33:19
390
1
原创 使用flink agent框架实现流式情感分析的示例
本文基于Apache Flink Agents框架实现了实时情感分析工作流，使用本地LLM API处理文本流数据。Flink Agents将LLM推理能力嵌入分布式流处理管道，解决了传统AI批处理模式在扩展性、容错性、背压处理等方面的不足。文章详细对比了Flink Agents与传统脚本方式的优势，并提供了具体实现方案，包括数据模型定义、Prompt模板设计及本地LLM连接配置。测试版本为Flink Agents 0.1.1，要求远程集群版本大于1.20.3。通过预定义工作流实现了对文本情感的实时分类（po
2026-03-25 12:51:49
470
原创 [INFRA] EMR集群中Hive和Spark集成Glue Data Catalog过程的深入分析
本文分析了EMR 7.12.0集群中AWS Glue Data Catalog替代Hive Metastore的实现机制。通过Hive的SPI扩展点，EMR使用AWS SDK v2调用Glue API，并实现Hive/Glue数据模型的双向转换。架构分为三层：公共层提供核心功能，Hive3和Spark专用层分别适配不同场景。启动过程通过工厂模式加载AWSCatalogMetastoreClient，确保与原生Hive接口兼容。该方案实现了元数据管理的无缝迁移，同时支持S3存储和LakeFormation访问
2026-03-25 12:48:22
534
原创 [INFRA] EMR集群安全配置传输中加密和Kerberos认证配置详解
EMR Security Configuration 是 Amazon EMR 提供的可复用安全策略模板，用于集中定义集群的加密、认证和授权设置。本文重点介绍传输中数据加密（In Transit）和 Kerberos 认证部分。启用传输加密后，EMR 会自动为支持 TLS 的组件配置加密通信，并详细说明了 PEM 证书文件在 TLS 通信中的角色、各组件使用证书的场景，以及自签名证书与主机名验证的相关注意事项。安全配置创建后存储在 EMR 服务端，适用于 4.8.0 及以上版本，且不可修改只能删除重建。
2026-03-24 17:58:02
389
原创 [INFRA] EMR集群内节点自动配置系统深入理解
EMR集群配置系统通过provision-node和Puppet实现配置管理，支持首次启动和运行时重配置两种场景。核心组件包括provision-node（Java程序）和instance-controller（调用方）。首次启动时，系统从控制面拉取配置（包含默认值和用户自定义值），安装组件RPM（多数已预装），并通过Puppet生成配置文件。运行时重配置通过检测版本变化触发相同机制。整个流程由EMR控制面统一管理，确保配置一致性。
2026-03-24 16:29:00
376
原创 [INFRA] EMR集群启用HA高可用架构和配置分析
本文介绍了EMR 7.12.0 HA集群的高可用架构实现，重点分析了核心组件的HA配置与部署方案。集群采用3个Master节点部署，通过ZooKeeper实现HDFS NameNode、YARN ResourceManager等关键组件的自动故障转移。文章详细展示了节点拓扑、角色分布、组件依赖关系及HDFS NameNode的HA实现细节，包括ZKFC选举机制和客户端自动故障转移配置。测试配置使用外部MySQL作为Hive Metastore存储，各组件采用不同的HA模式（Active-Standby/Ac
2026-03-24 16:28:19
401
原创 [INFRA] EMR集群节点初始化和启动流程深度解析
本文分析了EMR集群节点的启动流程，重点解析了各阶段的systemd服务依赖关系及执行顺序。启动过程包含两个关键阶段：mk-tmp-on-root解决/tmp目录的断链问题，setup-devices完成磁盘分区、挂载和目录迁移（耗时约10秒）。所有节点类型的启动阶段一致，区别仅在于Puppet配置的应用组件不同。日志文件位于/emr/setup-devices/目录，详细记录了磁盘初始化过程。启动流程通过systemd服务链确保基础设施就绪后再启动上层EMR组件。
2026-03-24 00:50:26
190
原创 [INFRA] EMR集群CWagent组件功能和运行原理分析
本文详细解析了EMR集群中的CloudWatch Agent（CWAgent）组件，重点介绍了其功能特性、架构设计和指标采集机制。CWAgent是一个轻量级的Go进程，负责采集操作系统级指标（CPU、内存、磁盘、网络等）并发送至CloudWatch Metrics，与MetricsCollector的应用指标采集形成互补。文章详细列出了CWAgent采集的34个系统指标及其维度信息，并揭示了其双管道架构设计：一条直接输出原始指标，另一条通过处理器转换后输出。测试环境基于EMR7.12版本，展示了CWAgen
2026-03-23 21:13:26
163
原创 [INFRA] EMR集群MetricsCollector组件功能和运行原理分析
摘要：本文详细分析了EMR集群中的MetricsCollector(MC)组件，该组件是托管扩缩容(Managed Scaling)的核心数据采集器。MC仅在Master节点运行，负责从YARN和HDFS采集指标并通过WebSocket上报控制面。文章介绍了MC的版本信息(emr-metrics-collector-1.32.0-1.noarch)、运行环境(JDK 8)、系统资源限制(内存1024M、CPU 20%)等关键特性，并详细阐述了其架构设计，包括与Instance Controller的RPC交
2026-03-23 20:58:40
360
原创 [INFRA] EMR集群AppPusher组件功能和运行原理分析
本文分析了EMR集群中的AppPusher组件功能及运行机制。AppPusher负责从HDFS收集Spark事件日志和YARN日志并上传到S3，支持EMR控制台的Persistent App UI功能。测试环境为EMR7.12版本，AppPusher运行在所有节点但仅在Master节点实际工作，Core节点因缺少凭证而空转。关键特性包括120秒定时调度、多线程并发、差量上传和STS凭证管理。与LogPusher相比，AppPusher专注于应用级日志收集，数据源为HDFS而非本地文件系统。Master节点和
2026-03-23 20:49:06
356
原创 [INFRA] EMR集群LogPusher组件功能和运行原理分析
本文研究了EMR集群中的LogPusher组件，详细分析了其架构设计与运行机制。LogPusher作为核心日志收集上传组件，采用三层配置系统、HSQLDB数据库管理，具备日志压缩加密、磁盘空间管理、多线程并发上传等功能。测试基于EMR7.12版本，组件版本为instance-controller-1.85.0-1.noarch。文章重点剖析了其线程模型（包括调度器、RPC轮询和磁盘管理线程）和关机模式机制，并提供了关键配置参数和性能指标。该组件通过智能调度和资源管理，实现了高效的日志收集与上传。
2026-03-23 20:36:45
348
原创 [INFRA] EMR集群Instance Controller组件功能和运行原理分析
本文主要内容为梳理 EMR 集群中的核心组件Instance Controller（简称 IC）。IC 是整个 EMR 集群的"大脑"，负责集群编排、应用管理、Step 执行、健康监控、RPC 通信、状态管理等几乎所有核心功能。
2026-03-23 20:22:52
409
原创 关于kiro-cli使用过程中如何回滚会话和已经编辑的文件
本文介绍了Kiro CLI工具提供的两种回滚功能：工作区文件回滚(/checkpoint)和对话消息回滚(/tangent forget)。文件回滚通过Git快照机制支持创建和恢复检查点，提供默认和硬恢复两种模式；对话回滚则仅移除历史消息而不影响文件。两种功能需分别启用且不能同时使用，各自适用于代码还原和对话修正的不同场景。文中详细列出了相关配置方法和常用命令对比表。
2026-03-23 16:47:17
235
原创 在eks集群中部署eks-node-monitoring-agent并利用NodeDiagnostic收集节点日志
本文介绍了在中国区EKS集群中部署官方节点监控组件eks-node-monitoring-agent的方法。该组件以DaemonSet形式运行，监控节点内核日志、系统日志和容器运行时状态，并将检测结果通过NodeCondition上报。文章详细说明了组件的核心功能，包括日志监控、问题检测和状态上报机制，并提供了部署步骤和日志收集流程。通过创建S3预签名URL和NodeDiagnostic资源，可实现节点日志的自动收集和上传，便于故障排查。虽然中国区EKS暂不支持自动节点修复功能，但该方案仍为节点监控提供了有
2026-03-16 17:50:13
328
1
原创 在aws启动ecs托管实例并启动特权任务的实践记录
摘要：Amazon ECS Managed Instances是一种托管式容器基础设施服务，可自动管理EC2实例运行容器工作负载。主要特点包括：支持选择特定实例类型（如GPU、裸机）、多任务打包部署降低成本、特权容器支持以及自动安全补丁更新。部署时需配置两个IAM角色，并注意PassRole权限问题。通过示例展示了如何部署httpinfo服务和特权容器netshoot，其中托管实例由ECS直接通过EC2 Fleet启动，不可SSH登录。与Fargate相比，该服务提供了更灵活的实例选择和高级容器功能支持。
2026-03-16 14:26:11
414
1
原创 使用opensandbox结合ADK创建agent并测试沙盒环境
OpenSandbox 是一个通用的沙箱运行环境，相比与AgentScope框架深度绑定的AgentScope-Runtime，它采用协议优先设计，通过独立的execd守护进程实现标准化OpenAPI接口。execd基于Go语言开发，动态注入到容器内部，作为沙箱代理处理代码执行、命令运行、文件操作和资源监控四大功能，支持多语言状态化执行和实时交互。使用时需先启动OpenSandbox服务端（基于FastAPI），通过配置文件选择Docker或Kubernetes运行时。示例展示了如何将OpenSandbox
2026-03-15 18:36:40
529
原创 使用langchain创建agent应用并集成dynamodb实现多会话能力
本文介绍了如何使用DynamoDB实现支持多会话的LangChain Agent系统。系统核心功能包括会话持久化、多会话支持、自动加载和会话切换。技术选型采用LangChain框架和DynamoDB数据库，设计了合理的表结构，使用user_id作为分区键提高查询效率，并设置TTL自动清理过期会话。会话管理器实现了创建、保存、加载和列出会话等功能，与Agent集成后能自动恢复最近对话。该系统通过DynamoDB的GSI索引优化查询性能，同时采用时间戳+UUID生成唯一会话ID，确保良好的用户体验和系统响应速度
2026-03-14 13:32:07
455
1
原创 使用适配器将Bedrock转换为OpenAI兼容服务并支持Tool Calling
摘要：本文探讨了将Bedrock AI模型API转换为OpenAI兼容格式的适配器开发过程。针对现有工具如LiteLLM和bedrock-access-gateway在Bedrock Tool Calling功能支持上的不足，作者开发了专用适配器解决格式转换问题。核心挑战包括消息格式差异（如OpenAI的tool_calls与Bedrock的toolUse）、Tool Result格式差异以及Bedrock特有的连续同角色消息合并要求。文章详细介绍了转换函数实现，包括系统消息提取、角色转换和消息合并逻辑，最
2026-03-14 00:08:41
379
原创 使用Strands SDK和RAGFlow构建具备RAG能力Agent理应用
本文探讨了如何利用RAG技术构建企业智能助手，解决传统大语言模型对企业专有知识掌握不足的问题。通过RAGFlow和Strands Agent框架的三层架构（知识层、工具层、智能层），实现了文档智能解析、精准检索和自然语言回答。文章详细介绍了RAGFlow的核心概念（Dataset/Document/Chunk）、SDK优势以及系统实现要点，包括文档上传、状态检查和知识检索等关键环节。最后通过员工手册案例，展示了从知识库准备到测试检索的完整流程，验证了该方案在企业知识问答场景中的实用性。
2026-03-12 12:58:05
213
原创 为agent实现渐进式Skills能力的思考和实践
本文介绍了企业级AI Agent中"渐进式披露"技能知识的设计模式。通过将技能信息分层存储（元数据、核心内容、详细资源），系统启动时仅加载轻量级摘要（约50 tokens），在用户具体提问时才按需加载完整技能内容。每个技能采用标准化目录结构存储，包含元数据文件、操作指南、资源文件和可执行脚本。文章详细说明了AgentSkill类的实现方法，包括元数据加载、指令加载、资源加载和脚本加载的具体代码实现，以及SkillsLoader类管理所有技能加载和查询的功能。这种设计有效解决了大容量专业知
2026-03-12 12:56:34
438
原创 编译BitNet.cpp并部署BitNet 2B4T模型的实践
BitNet是微软提出的一种极致量化技术，将大语言模型权重量化至1.58-bit（三值：-1,0,+1），相比16-bit浮点数模型大小减少10倍以上。测试使用2.41B参数的BitNet 2B-4T模型（4T tokens训练数据），通过GGUF格式在普通CPU服务器上部署。编译BitNet.cpp推理引擎后，实测生成速度达11.43 tokens/s，单次推理总耗时9.45秒。该技术使生产级LLM服务无需GPU即可运行，为极致压缩推理提供了可行方案。
2026-02-17 14:41:08
930
原创 用 ZeroClaw 结合 SNS 打造每日新闻邮件推送助手
基于 Rust 编写的 AI Agent 框架 ZeroClaw，接入 60s 新闻 API 和 AWS SNS，实现了定时获取每日新闻与多平台热搜并推送邮件的自动化助手。过程中解决了源码重复定义 bug、OpenAI Provider 硬编码地址（改用 custom: provider 接入本地 LiteLLM 代理）、安全策略限制（放开 http_request 域名白名单和 shell 命令白名单）、工具迭代次数不足等问题。最终 Agent 通过 Skills 学会调用 API，自主完成新闻获取
2026-02-17 01:05:35
943
原创 在中国区EKS集群使用 kgateway 代理 Lambda 函数的实践过程
本文介绍了在AWS中国区EKS集群上部署kgateway并路由流量到Lambda函数的完整过程。首先安装Gateway API CRD和kgateway控制平面，解决中国区Docker Hub镜像拉取问题后部署httpbin示例应用。通过创建Gateway和HTTPRoute资源，kgateway自动创建Envoy代理、ServiceAccount和NLB服务。重点阐述了如何配置Lambda后端，包括Backend CRD定义和通过IRSA为Envoy代理绑定Lambda调用权限。文章详细记录了从环境部署到
2026-02-16 19:29:37
1127
原创 将AgentScope的RAG能力集成到Strands Agent的实践
本文探讨了在Strands Agent框架中集成AgentScope的RAG（检索增强生成）能力的方法。RAG技术通过检索知识库相关内容作为上下文，有效解决了大模型在特定领域知识问答中的局限性。文章分析了集成过程中的关键挑战，包括架构差异（AgentScope采用异步设计而Strands为同步）、工具封装、状态管理和错误处理等问题。重点介绍了如何利用AgentScope的Reader、Knowledge和Store三大核心组件构建RAG系统，并通过@tool装饰器将其封装为Strands工具。最终实现了知识
2026-02-16 00:30:09
429
原创 使用envoy配置jwt校验和ratelimit限流以及通过wasm扩展统计llm消耗token
使用envoy配置jwt校验和ratelimit限流以及通过wasm扩展统计llm消耗token
2026-02-15 15:43:51
937
原创 编写xds服务并实现envoy服务的动态配置
本文介绍了基于Envoy官方go-control-plane库实现动态xDS配置服务器的方案。在微服务架构中，传统静态配置方式需要重启服务才能生效，而xDS协议(包括LDS、CDS、RDS、EDS等)通过gRPC流式接口实现配置热更新，支持零停机变更。go-control-plane库封装了xDS协议的gRPC服务实现、Snapshot Cache缓存机制和资源类型定义，开发者只需关注配置生成逻辑。文中提供了测试环境搭建示例，包括Docker Compose编排、Envoy配置和xDS服务器实现
2026-02-14 15:57:07
1027
原创 部署NotaGen模型并按照风格生成古典音乐曲谱
NotaGen是由多所高校联合开发的古典音乐生成模型，采用Transformer架构并引入DPO优化技术，使生成的乐谱更符合人类审美偏好。用户可通过指定时期、作曲家和乐器组合生成音乐，输出ABC记谱法格式并可转换为XML在MuseScore中编辑。虽然当前生成效果与大师作品仍有差距，但展示了AI音乐创作的潜力。项目提供Hugging Face在线演示和本地部署方案，支持研究者进一步探索AI辅助音乐创作的可能性。
2026-01-27 13:39:22
341
原创 在eks上使用gVisor运行时部署agent-sandbox
摘要 本文探讨了云原生环境中的安全沙箱技术，重点分析了gVisor在容器隔离中的应用。文章比较了三种隔离方案：基于硬件的虚拟化（如KVM）、基于规则的执行（如seccomp）和gVisor方案，指出gVisor通过拦截系统调用实现轻量级隔离，兼具资源效率和安全性的优势。详细介绍了gVisor的架构设计（Sentry内核和Gofer文件系统访问）及其在EKS环境中的部署实践，包括runtime配置和Kubernetes集成。最后提及了Kubernetes社区提出的Agent Sandbox规范，为管理隔离工作
2026-01-27 00:52:46
683
原创 在Lambda函数中编写和部署MCP服务器的方法
摘要 MCP（Model Context Protocol）定义了客户端与服务端之间的通信机制，支持两种标准化传输方式：stdio和Streamable HTTP。相比早期基于HTTP+SSE的方案，Streamable HTTP通过单一端点简化了实现。在AWS Lambda上部署MCP服务器有三种主要方法：1）使用自定义MCP处理器适配Lambda请求-响应模型；2）通过stdio运行现有MCP服务；3）利用Lambda Web Adapter转发请求。这些方案平衡了协议兼容性与Lambda的无服务器特性
2026-01-26 20:50:55
827
原创 使用agentscope自动注册agent应用到nacos以及对a2a协议的思考
本文探讨了利用A2A（Agent-to-Agent）能力实现跨语言、跨框架的智能体协同工作。通过AgentScope框架，开发者可以将应用包装成符合A2A规范的服务端点，并自动注册到Nacos服务发现系统中。文章详细展示了如何使用Python代码创建导游智能体服务，包括定义Nacos注册中心、配置Agent技能（如景点推荐和旅游咨询），以及部署服务的过程。同时，通过抓包分析发现，客户端实际通过9848端口而非预期的8848端口访问Nacos服务，揭示了服务发现过程中的通信细节。这种A2A架构使得远程智能体可
2026-01-25 11:15:47
722
原创 在EKS上使用LBC的GatewayAPI创建负载均衡器和扩展配置
AWS 负载均衡控制器（LBC）即将发布对 Kubernetes Gateway API 的正式支持，目前版本 2.17 处于 GA 候选阶段。LBC 使用 AWS NLB 实现 L4 路由（TCPRoute/UDPRoute）和 ALB 实现 L7 路由（HTTPRoute/GRPCRoute），但不支持混合协议层。安装需部署 Gateway API CRD 并启用 LBC 相关功能标志。测试发现 L4 路由存在权重参数异常问题，L7 路由则完整支持 HTTP/GRPC 协议。该功能虽暂不建议生产使用，但
2026-01-25 11:13:58
779
原创 使用firecracker创建虚拟机和配置firecracker作为kata后端的过程
Firecracker是一种轻量级虚拟化技术，依赖于KVM实现硬件加速。在AWS上，只有裸金属实例（如m5.metal）支持Firecracker，普通m5实例因缺少嵌套虚拟化支持而无法运行。Firecracker通过/dev/kvm与KVM交互，利用Intel VT-x实现高效虚拟化：KVM配置VMCS结构，CPU硬件处理指令拦截和上下文切换。网络I/O通过virtio机制优化，使用共享内存减少VM Exit开销。这种架构下，Firecracker用户态进程与KVM内核模块协同工作，为每个microVM提
2026-01-24 23:33:36
1091
原创 测试通过paker构建EKS优化AMI相关问题和解决
本文介绍了在AWS中国区构建EKS优化AMI的过程。针对标准AMI和GPU优化AMI分别提供了构建方法，重点解决了中国区特有的配置问题，包括region设置、pause容器镜像源调整以及AMI账户所有者指定等。对于GPU优化AMI，测试发现仅NVIDIA 570及以上版本驱动可成功构建。文章还提供了通过AWS CLI查询EKS优化AMI信息的方法，并指出可通过GitHub Release页面获取详细的驱动版本信息。整个构建过程需要特别注意中国区与global账户的资源差异问题。
2026-01-23 13:54:47
642
原创 关于envoy的基础概念组件构成和示例配置笔记整理
Envoy Proxy是一款面向现代服务架构的高性能七层代理，其核心设计理念强调网络透明化和故障快速定位。该代理具有三大特性：高性能（高吞吐、低延迟）、可扩展性（支持L4/L7过滤器插件）和动态可配置性（通过xDS API实现无缝配置更新）。Envoy采用组件化架构，包含主机、集群、端点等核心概念，支持从纯静态配置到全动态配置（EDS/CDS/RDS/LDS/SDS）的灵活部署方案。xDS协议作为动态配置传输标准，包含LDS、RDS、CDS等发现服务，可通过文件系统或管理服务器获取配置。Envoy已成为服务
2026-01-22 12:01:52
669
原创 agentscope记忆模块使用和部署agent-memory-server记忆服务
本文介绍了AI Agent记忆系统的概念与实现方式。记忆系统分为短期记忆和长期记忆：短期记忆参与模型推理，需要上下文管理策略（如压缩、摘要）；长期记忆从短期记忆抽取，通过检索辅助推理，通常由独立组件实现（如Mem0、Zep）。文章对比了不同框架的记忆实现，包括AgentScope的会话级短期记忆和跨会话长期记忆，以及AWS Strands框架的Mem0集成。还介绍了通过agent-memory-server使用Redis部署记忆服务的方法，并提供了代码示例展示如何配置基于Chroma的向量存储长期记忆系统。
2026-01-21 22:38:19
811
原创 通过agentscope在EKS部署远程沙盒和代理应用
AgentScope Runtime是一个面向AI Agent的全栈运行时，提供安全沙箱环境和高效部署能力。核心功能包括： 沙箱工具服务：通过Docker容器提供隔离的执行环境，支持文件系统操作、浏览器自动化等功能，使用WebSocket和CDP协议实现交互。 运行时管理服务（runtime-sandbox-server）：集中管理沙箱容器，支持动态创建、预热池和多种后端（Docker/k8s等）。 MCP服务集成：通过runtime-sandbox-mcp将沙箱功能封装为微服务，便于Agent调用。
2026-01-21 00:22:19
813
原创 在springboot4中使用ADOT的agent注入集成cwagent发送数据和追踪
在springboot4中使用ADOT的agent注入集成cwagent发送数据和追踪
2026-01-20 14:51:56
649
原创 使用agentscope访问注册在nacos的A2Aagent和MCP服务
本文介绍了如何部署litellm代理平台和实现A2A服务。首先通过Docker配置litellm和PostgreSQL服务，提供模型管理和API访问功能。然后基于Strands框架开发了一个天气查询的A2A服务，支持JSON-RPC协议交互。最后展示了如何将服务注册到Nacos平台，实现服务的自动发现和管理。这些组件共同构建了一个可扩展的多代理系统架构。
2026-01-20 01:37:23
700
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人