- 博客(78)
- 收藏
- 关注
原创 aws(学习笔记第五十一课) ECS集中练习(3)
本文总结了AWS ECS中Fargate服务的三种配置实践:1)单任务Fargate服务+网络负载均衡器,通过CDK代码创建集群和服务,并配置安全组规则;2)多任务Fargate服务+网络负载均衡器,通过自动扩展策略实现任务扩容;3)多任务Fargate服务+EFS存储。文章详细展示了每种配置的架构图、核心代码片段和部署验证过程,包括使用CloudShell解决网络问题的方法。所有实验均通过CDK工具部署,并提供了清理资源的命令。
2025-08-16 22:30:53
995
原创 aws(学习笔记第五十课) ECS集中练习(2)
本文介绍了AWS ECS服务的两个重要配置练习:任务放置策略和网络配置。在任务放置策略部分,展示了如何通过三种策略控制任务分布:distinct_instances确保任务分布在不同实例上,packed_by将任务紧密打包到最少实例,spread_across实现跨可用区均匀分布。网络配置部分则演示了如何为ECS任务配置独立的弹性网络接口,通过VPC和子网选择实现容器网络隔离。两部分的练习都提供了完整的CDK代码实现,包括集群创建、自动扩展组配置、任务定义和服务部署等关键步骤,并附有架构图和CLI验证方法。
2025-07-30 23:03:08
686
原创 AI(学习笔记第六课) 使用langchain进行AI开发 load documents(csv和文件夹)
本文介绍了使用LangChain加载CSV和文件夹文档的方法。主要内容包括:1) 使用CSVLoader加载CSV文件的基本方法,包括默认加载、自定义解析参数和指定源列;2) 使用DirectoryLoader从文件夹加载文档;3) 解决依赖安装问题。文中提供了详细的代码示例和实际执行截图,展示了如何将CSV数据转换为LangChain可处理的文档格式,并处理文件加载过程中可能遇到的问题。
2025-07-20 19:06:11
670
原创 aws(学习笔记第四十九课) ECS集中练习(1)
摘要:本文介绍了AWS ECS(Elastic Container Service)的集中练习,重点是通过Auto Scaling Group启动ECS服务。主要内容包括:1)ECS的两种启动模式(EC2模式和Fargate模式)对比;2)使用CDK代码创建ECS集群、Auto Scaling Group和容量提供者;3)为集群添加服务并设置任务定义;4)为ECS服务添加应用负载均衡器;5)完整的部署流程和执行结果展示。文章通过架构图和详细代码示例,演示了如何构建一个完整的ECS服务环境,包括VPC、安全组
2025-07-19 16:43:13
809
原创 AI(学习笔记第五课) 使用langchain进行AI开发 load documents(web)
摘要:使用LangChain进行网页文档加载与AI检索 本文介绍了如何利用LangChain工具链进行网页文档加载和AI检索的实践方法。主要内容包括:1) 使用WebBaseLoader和UnstructuredURLLoader加载网页内容;2) 通过BeautifulSoup4精确提取网页特定部分(如特定div或class内容);3) 使用UnstructuredLoader解析网页父子节点关系;4) 将处理后的文档存入向量数据库进行AI检索。文章提供了详细的代码示例,展示了从网页加载、内容提取到向量存
2025-07-13 22:10:09
1040
原创 AI(学习笔记第四课) 使用langchain进行AI开发 load documents(pdf)
商用模型,一般国内都使用不了,因此这里准备本地的。这里,想定公司需要做成知识向量库。支持的非常好,而且国外的。的文本处理模型,所以下载。的官方链接给提供了一个。
2025-07-06 11:05:52
828
原创 aws(学习笔记第四十八课) appsync-graphql-dynamodb
AWS AppSync 学习笔记:GraphQL 与 DynamoDB 集成 本文介绍了如何使用 AWS AppSync 构建 GraphQL API 来操作 DynamoDB 数据库。主要内容包括: 核心组件 创建 GraphQL API 和 API Key 定义 GraphQL Schema(包含查询和变更操作) 配置 DynamoDB 表作为数据存储 实现细节 通过 IAM 角色控制数据库访问权限 使用 DataSource 连接 GraphQL API 和 DynamoDB 创建四个 Resolve
2025-06-29 16:51:37
523
原创 aws(学习笔记第四十七课) codepipeline-docker-build
本文介绍了使用AWS CDK构建CodePipeline实现Docker镜像自动构建的流程。主要内容包括:1)通过CodeBuild构建Docker镜像并推送至ECR;2)利用SSM参数存储在不同stack间传递参数;3)整体架构包含Base.py创建S3存储桶和CodeBuild项目,Pipeline.py设置source和build阶段;4)详细展示了CDK部署流程,并验证了ECR、Pipeline和SSM的配置;5)通过push.sh模拟代码上传过程,但发现build阶段执行失败的问题。文章提供了完整
2025-06-26 22:43:09
672
原创 aws(学习笔记第四十六课) codepipeline-build-deploy
本文介绍了AWS CodePipeline构建部署的学习笔记,主要包含CodeBuild和CodeDeploy的使用。架构分为初始化阶段(创建CodeCommit仓库和CodeBuild项目)、服务运行组件创建(VPC、ALB、Fargate服务)以及部署阶段配置(建立构建流水线和部署组)。代码分析部分详细说明了如何创建CodeCommit仓库、ECR镜像库、Fargate任务定义和CodeBuild项目,其中CodeBuild通过buildspec.yaml文件执行Docker镜像构建流程,实现自动化部署
2025-06-22 16:19:11
710
原创 aws(学习笔记第四十五课) route53-failover
本文摘要: 文章介绍了AWS Route53故障转移配置的学习笔记,主要内容包括使用Route53域名服务、子域名配置以及健康检查功能。通过修改CDK代码示例,在两个区域(ap-northeast-1)部署Fargate服务和网络负载均衡器(NLB),并基于预创建的HostedZone(finlay.com)创建故障转移记录(failover.finlay.com)。详细解析了架构设计:包括主备记录配置、健康检查监控、告警机制(通过SNS邮件通知)的实现过程,关键代码展示了如何通过from_lookup引用
2025-06-20 23:47:57
928
原创 docker(学习笔记第一课) 使用nginx +https + wordpress
本文记录了在AWS EC2上使用Docker部署Nginx+HTTPS+WordPress的实践过程。主要内容包括:在EC2上安装Docker;创建自定义网络;部署MySQL数据库和两个WordPress容器;生成SSL证书;配置Nginx反向代理和HTTPS重定向。文章详细说明了每个步骤的具体命令和配置方法,并展示了最终的访问效果。此外,还提供了实用的Docker操作命令,如查看日志、进入容器和检查数据卷等。通过这一实践,实现了WordPress站点通过Nginx提供HTTPS服务的基本架构。
2025-06-15 23:37:48
1560
1
原创 aws(学习笔记第四十四课) opensearch
本文摘要:AWS OpenSearch学习笔记 主要内容: 在AWS上部署OpenSearch服务,包括配置访问限制、自动生成管理员密码并存储在Secrets Manager中,以及设定允许访问的IP地址范围。 OpenSearch是Elasticsearch的AWS实现,具备全文搜索、实时分析、分布式架构等核心功能,支持多种数据源集成。 使用CDK代码架构部署OpenSearch,包含以下关键配置: 版本选择(2.19) 访问策略设置 密码管理 容量配置(主节点和数据节点) EBS存储配置 跨可用区部署
2025-06-15 10:37:06
807
原创 aws(学习笔记第四十三课) s3_sns_sqs_lambda_chain
代码连接(s3_sns_sqs_lambda_chain)这里如果不加上,那么会报错。这里要去掉,如果不去掉就会执行错误。这里考虑成本,所以之后,所以之后。函数的实现:这里创建了一个,用于输出上传本地文件到上的示例。2.8.2 这里输出一个,用于表示的。2.8.3 这里输出一个,用于表示的函数名。2.8.4 这里输出一个,用于表示函数的输出的。3 执行3.1 执行3.2 执行的结果这里,每次上传文件都会触发函数调用。4.1.2 创建测试关联测试关联测试关联
2025-06-07 23:01:50
880
原创 aws(学习笔记第四十二课) serverless-backend
执行环境,会导致部署失败,这里指定。执行会失败,所以提前检查。来进行保存图片,这里。执行时候,指定的参数。
2025-05-25 10:56:19
877
原创 AI(学习笔记第三课) 使用langchain进行AI开发(2)
langchain中的HumanMessage,AIMessage,ToolMessage,是怎么回事, tool-calling models是怎么回事@deepseek。这是指支持动态调用外部工具(函数/API)的模型,例如 OpenAI 的 gpt-3.5-turbo-1106 或 gpt-4-turbo。给出的回答,能够进行解析,所以最好是结构化的结果(的大模型,所以目前这个测试还是做不了。将来可能会变得支持。下面的概念必须理解。结果已经是结构化的数据了。格式之外,也可以是数据的。
2025-05-11 14:24:47
955
原创 AI(学习笔记第二课) 使用langchain进行AI开发(1)
Ollama 默认使用 CPU,如需 GPU 加速,确保已安装 NVIDIA 驱动并支持 CUDA。现在你应该可以在 Windows 上使用 Ollama 运行各种大语言模型了!,因为自己构建的本地机器性能太差,大模型查询一下耗时太长。:确保 Ollama 可以访问网络(下载模型需要联网)。注意,同时安装必要的python package。:如果安装失败,尝试以管理员身份运行安装程序。环境,进行虚拟环境的设定。大模型在本地进行正常动作了。可以看出,这里已经采用。会得到你想要的答案。为什么不用自己构建的。
2025-05-08 23:30:17
905
1
原创 aws(学习笔记第四十一课) image-content-search
这里配置了,,等配置,比起写入的代码中,这里将配置数据写入文件中会更加清晰。2.1.2 文件文件解析2.2 创建这里,需要从的进行跨域访问的的,因此需要,是浏览器的一种安全机制,用于控制不同源(协议+域名+端口)之间的资源访问。在之前的文章中介绍过。spring boot(学习笔记第五课) 自定义错误页,CORS(跨域支持)作为父。作为子,作为文件上传的表示页面。作为子,作为文件上传的请求。作为子,作为文件分析结果的页面。2.4 创建文件上传的表示页面2.4.1 创建文件上传的的
2025-05-02 22:24:04
1202
原创 aws(学习笔记第三十九课) iot-core
在AWS CDK中,CustomResource(自定义资源)主要用于扩展CloudFormation的原生能力,允许开发者在基础设施部署过程中执行自定义逻辑。注意,client 测试程序要务必能找到上面的三个文件,AmazonRootCA1.pem,cert.pem,private.key。在非对称加密算法中,公钥(public key)和私钥(private key)成对出现。这里,看到代码设定的是使用该。这时候,对手必须要有有效。设备已经温度太高,报警给。的方式,所以提前创建。
2025-04-20 10:26:56
1069
原创 AI(学习笔记第一课) 在vscode中配置continue
是的交互,所以需要空间较大,一般将它一定到右上角,拖拽即可。配置之后,可以看到如下所示,这样就可以在。注意,这里需要付费才能使用。地址发送六位的激活码,输入之后就可以。的账号(一般开发人员都会有),进行。放到右上角之后如下所示。模型,这里不需要付费!
2025-04-13 10:56:26
1217
原创 aws(学习笔记第三十八课) codepipeline-build-deploy-github-manual
注意,这里并没有指定具体的。注意,这里直接在创建。
2025-04-08 07:41:10
1284
原创 aws(学习笔记第三十七课) lambda调用rekognition(名人视频分析)
在源代码中,进行结果输出都是采用。的代码部分,做如下对应。中不能正常进行输出。
2025-03-30 10:46:01
946
原创 aws(学习笔记第三十六课) apigw-http-api-lambda-dynamodb
【代码】aws(学习笔记第三十六课) apigw-http-api-lambda-dynamodb。
2025-03-29 14:43:15
847
原创 aws(学习笔记第三十五课) aws service connect with ecs/ecr
由于平时练习的windows版本(虽然也是windows10)太低,不能安装。这个类进行调用的时候,可以制定参数。里面,可以继续嵌套调用。业务的核心组件就是由。
2025-03-28 23:43:22
749
原创 aws(学习笔记第三十三课) 深入使用cdk 练习aws athena
aws athena是aws提供的数据分析service,可以使用SQL语言对S3上保存的数据进行分析。,所以不需要维护。基于OpenSource的框架构筑基于处理的数据量进行收费对数据提供加密功能注意 和RDB不能进行JOIN操作,所以只能提供对csv和json进行数据查询aws glue是aws提供的。能够简单的进行分析数据的准备和load。table和schema关联的metadata能够作为进行保存。
2025-03-15 11:57:46
1018
原创 aws(学习笔记第三十课) 练习使用transit gateway
的概念就是VPC和OnPromise之间能够互相通信的NW中继hub使用进行的网络通信,在物理层都会被自动加密。Attachment能够把如下网络进行Attach。一个以上的vpcSD-WAN(软件定义的广域网)/第三方网络设备(称为DXGW其他的向进行的VPN连接使用的use case集中型的router将进行分离Peer连接的使用,向Internet进行统一通信共享服务中的设备VPC。
2025-03-01 00:38:44
612
原创 aws(学习笔记第二十九课) aws cloudfront hands on
的整体架构这里可以看出,aws引入了的概念,用户的client与进行是通常的internet网络,与origin之间的采用的是aws的专门网络(用户的client与虽然是通常的internet网络,但是由于是对于用户client最近的location,所以速度会非常快。与origin之间的采用的是aws的专门网络(),速度也会非常快。通过这个架构,加速了用户client和origin之间的访问速度。aws的在世界各地,好多大都市都有。
2025-02-22 22:29:38
638
原创 aws(学习笔记第二十七课) 使用aws API Gateway+lambda体验REST API
aws API Gateway调用下,执行背后的`lambda`函数的练习。这里给出了一个完整的实例。
2025-02-03 13:57:15
788
原创 aws(学习笔记第二十六课) 使用AWS Elastic Beanstalk
开发者来说,要考虑应用开发以外的很多,需要很多考虑。后面的练习中使用node.js的打包程序。开发,必须考虑很多环境面的问题。,只考虑开发业务代码,生成。文件就能够作成一个完整的。
2025-01-26 22:25:04
1253
原创 aws(学习笔记第二十三课) step functions进行开发(lambda函数调用)
的设定的参数,之后调用的时候会设定。目前还是不懂的状态,加油!(采用默认作成一个新的)指定的时候,都默认使用。
2025-01-12 10:04:13
1284
原创 aws(学习笔记第二十课) codecommit以及codedeploy进行开发
的概念CI/CD 是指持续集成(Continuous Integration)和持续部署(Continuous Deployment)或持续交付(Continuous Delivery)。分支架构开始构建启动的,尝试代码输入上面建立用户的凭证输入凭证,执行。创建代码文件,执行命令在上确认代码文件全体架构这里,按照如下步骤启动启动作为接下来的要执行的安装,所以在这里要赋予权限的注意,这里不赋予足够的权限的话,就没有在接下来的步骤执行,进而不能按照,导致执行失败。用户数据设定启动另外一个,
2024-12-29 17:04:41
999
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人