【aws】ECS上构筑基于Concourse的CI/CD方案

最新推荐文章于 2024-05-18 09:45:29 发布
最新推荐文章于 2024-05-18 09:45:29 发布
阅读量1.5k 收藏 3
点赞数
分类专栏： aws kubernetes 文章标签： kubernetes docker ci/cd aws
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42526859/article/details/112435948
版权

Amazon Elastic Container Service （Amazon ECS） 是一项高度可扩展的快速容器管理服务，它可轻松运行、停止和管理群集上的容器。您的容器在任务定义中定义，用于运行服务中的单个任务或服务。在此上下文中，服务是一种配置，使您能够同时在集群中运行和维护指定数量的任务。您可以在由 AWS Fargate 管理的无服务器基础设施上运行您的任务和服务。或者，要更好地控制您的基础设施，您可以在管理的 Amazon EC2 实例集群上运行您的任务和服务。

Concourse CI 是一款 CI/CD 工具，它的魅力在于极简设计，被广泛应用于 Cloud Foundry 各个模块的 CI/CD。Concourse CI 官方提供了标准的 Docker 镜像，可以通过AWS ECS容器服务部署一套 Concourse CI 应用。

本次构筑Concourse CI的后端存储，选用的postgres数据库，利用AWS Fargate部署容器版的postgres。另外需要部署Concourse CI的管理Web和worker组件。其中Web也是利用AWS Fargate部署Serverless的容器服务，Worker需要开启特权privileged，而AWS Fargate并不支持privileged，所以选用EC2集群执行Worker容器。

前置条件：

  1. 需要创建一个名称为concourse-data的efs，作为postgres, web以及worker容器的存储卷
    在这里插入图片描述2. 配置ecsTaskExecutionRole，开放给容器执行必要的权限，比如SystemManager的访问权限等。

构筑步骤：

  1. 定义postgres任务
{
    "ipcMode": null,
    "executionRoleArn": "xxxx/ecsTaskExecutionRole",
    "containerDefinitions": [
        {
            "dnsSearchDomains": null,
            "environmentFiles": null,
            "logConfiguration": {
                "logDriver": "awslogs",
                "secretOptions": null,
                "options": {
                    "awslogs-group": "/ecs/concourse-db",
                    "awslogs-region": "cn-north-1",
                    "awslogs-stream-prefix": "ecs"
                }
            },
            "entryPoint": null,
            "portMappings": [],
            "command": null,
            "linuxParameters": null,
            "cpu": 0,
            "environment": [
                {
                    "name": "PGDATA",
                    "value": "/database"
                },
                {
                    "name": "POSTGRES_PASSWORD",
                    "value": ""
                },
                {
                    "name": "POSTGRES_DB",
                    "value": "concourse"
                }
            ],
            "resourceRequirements": null,
            "ulimits": null,
            "dnsServers": null,
            "mountPoints": [
                {
                    "readOnly": null,
                    "containerPath": "/database",
                    "sourceVolume": "concourse-db"
                }
            ],
            "workingDirectory": null,
            "secrets": null,
            "dockerSecurityOptions": null,
            "memory": null,
            "memoryReservation": null,
            "volumesFrom": [],
            "stopTimeout": null,
            "image": "postgres:12.2",
            "startTimeout": null,
            "firelensConfiguration": null,
            "dependsOn": null,
            "disableNetworking": null,
            "interactive": null,
            "healthCheck": null,
            "essential": true,
            "links": null,
            "hostname": null,
            "extraHosts": null,
            "pseudoTerminal": null,
            "user": null,
            "readonlyRootFilesystem": null,
            "dockerLabels": null,
            "systemControls": null,
            "privileged": null,
            "name": "concourse-db"
        }
    ],
    "memory": "512",
    "taskRoleArn": "xxxx/ecsTaskExecutionRole",
    "family": "concourse-db",
    "pidMode": null,
    "requiresCompatibilities": [
        "FARGATE"
    ],
    "networkMode": "awsvpc",
    "cpu": "256",
    "inferenceAccelerators": null,
    "proxyConfiguration": null,
    "volumes": [
        {
            "efsVolumeConfiguration": {
                "transitEncryptionPort": null,
                "fileSystemId": "fs-12835e8f",
                "authorizationConfig": {
                    "iam": "DISABLED",
                    "accessPointId": null
                },
                "transitEncryption": "DISABLED",
                "rootDirectory": "/data/concourese/database"
            },
            "name": "concourse-db",
            "host": null,
            "dockerVolumeConfiguration": null
        }
    ],
    "tags": []
}
  1. 定义Web任务
{
    "ipcMode": null,
    "executionRoleArn": "xxxx/ecsTaskExecutionRole",
    "containerDefinitions": [
        {
            "dnsSearchDomains": null,
            "environmentFiles": null,
            "logConfiguration": {
                "logDriver": "awslogs",
                "secretOptions": null,
                "options": {
                    "awslogs-group": "/ecs/concourse-web",
                    "awslogs-region": "cn-north-1",
                    "awslogs-stream-prefix": "ecs"
                }
            },
            "entryPoint": null,
            "portMappings": [
                {
                    "hostPort": 443,
                    "protocol": "tcp",
                    "containerPort": 443
                }
            ],
            "command": [
                "web"
            ],
            "linuxParameters": null,
            "cpu": 0,
            "environment": [
                {
                    "name": "CONCOURSE_AWS_SSM_PIPELINE_SECRET_TEMPLATE",
                    "value": "/concourse/{{.Team}}/{{.Pipeline}}/{{.Secret}}"
                },
                {
                    "name": "CONCOURSE_ADD_LOCAL_USER",
                    "value": "admin:xxxx,platform:xxxx"
                },
                {
                    "name": "CONCOURSE_POSTGRES_HOST",
                    "value": "concourse-db.local"
                },
                {
                    "name": "CONCOURSE_LOG_LEVEL",
                    "value": "debug"
                },
                {
                    "name": "CONCOURSE_TLS_CERT",
                    "value": "/concourse-keys/server.crt"
                },
                {
                    "name": "CONCOURSE_AWS_SSM_TEAM_SECRET_TEMPLATE",
                    "value": "/concourse/{{.Team}}/{{.Secret}}"
                },
                {
                    "name": "CONCOURSE_TLS_KEY",
                    "value": "/concourse-keys/server.key"
                },
                {
                    "name": "CONCOURSE_AWS_SSM_SECRET_KEY",
                    "value": "Y/"
                },
                {
                    "name": "CONCOURSE_POSTGRES_PASSWORD",
                    "value": ""
                },
                {
                    "name": "CONCOURSE_POSTGRES_DATABASE",
                    "value": "concourse"
                },
                {
                    "name": "CONCOURSE_AWS_SSM_REGION",
                    "value": "cn-north-1"
                },
                {
                    "name": "CONCOURSE_TLS_BIND_PORT",
                    "value": "443"
                },
                {
                    "name": "CONCOURSE_MAIN_TEAM_LOCAL_USER",
                    "value": "admin"
                },
                {
                    "name": "CONCOURSE_AWS_SSM_ACCESS_KEY",
                    "value": ""
                },
                {
                    "name": "CONCOURSE_EXTERNAL_URL",
                    "value": "https://xxxx:8443"
                },
                {
                    "name": "CONCOURSE_POSTGRES_USER",
                    "value": "concourse@postgres"
                }
            ],
            "resourceRequirements": null,
            "ulimits": null,
            "dnsServers": null,
            "mountPoints": [
                {
                    "readOnly": null,
                    "containerPath": "/concourse-keys",
                    "sourceVolume": "concourse-keys"
                }
            ],
            "workingDirectory": null,
            "secrets": null,
            "dockerSecurityOptions": null,
            "memory": null,
            "memoryReservation": null,
            "volumesFrom": [],
            "stopTimeout": null,
            "image": "voss2018/concourse:6.5.1.1",
            "startTimeout": null,
            "firelensConfiguration": null,
            "dependsOn": null,
            "disableNetworking": null,
            "interactive": null,
            "healthCheck": null,
            "essential": true,
            "links": null,
            "hostname": null,
            "extraHosts": null,
            "pseudoTerminal": null,
            "user": null,
            "readonlyRootFilesystem": null,
            "dockerLabels": null,
            "systemControls": null,
            "privileged": null,
            "name": "concourse-web"
        }
    ],
    "memory": "2048",
    "taskRoleArn": "arn:aws-cn:iam::348769610664:role/ecsTaskExecutionRole",
    "family": "concourse-web",
    "pidMode": null,
    "requiresCompatibilities": [
        "FARGATE"
    ],
    "networkMode": "awsvpc",
    "cpu": "1024",
    "inferenceAccelerators": null,
    "proxyConfiguration": null,
    "volumes": [
        {
            "efsVolumeConfiguration": {
                "transitEncryptionPort": null,
                "fileSystemId": "fs-12835e8f",
                "authorizationConfig": {
                    "iam": "DISABLED",
                    "accessPointId": null
                },
                "transitEncryption": "DISABLED",
                "rootDirectory": "/data/concourese/web"
            },
            "name": "concourse-keys",
            "host": null,
            "dockerVolumeConfiguration": null
        }
    ],
    "tags": []
}
  1. 定义worker任务
{
    "ipcMode": null,
    "executionRoleArn": "xxxx/ecsTaskExecutionRole",
    "containerDefinitions": [
        {
            "dnsSearchDomains": null,
            "environmentFiles": null,
            "logConfiguration": {
                "logDriver": "awslogs",
                "secretOptions": null,
                "options": {
                    "awslogs-group": "/ecs/concourse-worker",
                    "awslogs-region": "cn-north-1",
                    "awslogs-stream-prefix": "ecs"
                }
            },
            "entryPoint": null,
            "portMappings": [],
            "command": [
                "worker"
            ],
            "linuxParameters": null,
            "cpu": 0,
            "environment": [
                {
                    "name": "CONCOURSE_TSA_HOST",
                    "value": "concourse-web.local:2222"
                }
            ],
            "resourceRequirements": null,
            "ulimits": null,
            "dnsServers": null,
            "mountPoints": [
                {
                    "readOnly": null,
                    "containerPath": "/concourse-keys",
                    "sourceVolume": "concourse-keys"
                }
            ],
            "workingDirectory": null,
            "secrets": null,
            "dockerSecurityOptions": null,
            "memory": null,
            "memoryReservation": null,
            "volumesFrom": [],
            "stopTimeout": null,
            "image": "voss2018/concourse:6.5.1.1",
            "startTimeout": null,
            "firelensConfiguration": null,
            "dependsOn": null,
            "disableNetworking": null,
            "interactive": null,
            "healthCheck": null,
            "essential": true,
            "links": null,
            "hostname": null,
            "extraHosts": null,
            "pseudoTerminal": null,
            "user": null,
            "readonlyRootFilesystem": null,
            "dockerLabels": null,
            "systemControls": null,
            "privileged": true,
            "name": "concourse-worker"
        }
    ],
    "memory": "4096",
    "taskRoleArn": "xxxx/ecsTaskExecutionRole",
    "family": "concourse-worker",
    "pidMode": null,
    "requiresCompatibilities": [
        "EC2"
    ],
    "networkMode": "awsvpc",
    "cpu": "1024",
    "inferenceAccelerators": null,
    "proxyConfiguration": null,
    "volumes": [
        {
            "efsVolumeConfiguration": {
                "transitEncryptionPort": null,
                "fileSystemId": "fs-12835e8f",
                "authorizationConfig": {
                    "iam": "DISABLED",
                    "accessPointId": null
                },
                "transitEncryption": "DISABLED",
                "rootDirectory": "/data/concourese/worker"
            },
            "name": "concourse-keys",
            "host": null,
            "dockerVolumeConfiguration": null
        }
    ],
    "placementConstraints": [],
    "tags": []
}
  1. 创建cluster platform，利用下面的cluster模板创建，并且添加一台EC2实例，以及配置必要的VPC，安全组
      EC2 Linux + 联网
         要创建的资源:
             集群
             VPC
             子网
    带 Linux AMI 的 Auto Scaling 组
  1. 在Platform cluster中创建service：concourse-db
    在这里插入图片描述
  2. 在platform cluster中创建concourse-web service
    在这里插入图片描述
  3. 在platform cluster中创建concourse-worker service
    在这里插入图片描述
  4. 确认三个service是否正常Running
    在这里插入图片描述
  5. 配置负载均衡，登录concourse web
    在这里插入图片描述在这里插入图片描述
潘星文sama
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
CI/CD 工具选型：GitLab 还是 AWS？
01-26
AWS则提供了一套由多个服务组成的CI/CD工具链，如CodeCommit用于源代码管理，CodeBuild用于构建，CodePipeline则负责自动化部署流程。AWS的优势在于其强大的云基础设施和丰富的服务生态，可以根据实际使用量付费，...
terraform-concourse：Terraform设置以部署基于ECS的concourse-ci设置
02-04
用于设置Concourse CI的Terraform模块。 该存储库包含以下模块： keys ：创建一个S3存储桶，并上传一组自动生成的密钥以进行访问。 ecs-web ：Concourse Web服务的基于ECS的设置，当前是ATC和TSA的组合。 （请...
Concourse：可扩展的开源CI管道工具
cpongo5
05-05 274
Concourse是一个开源的CI管道工具，它使用yaml文件对管道进行配置，以及设置无需配置的安装。Concourse最近发布了第一个主要版本，目前已经可以下载1.1.0版本。根据由Pivotal所赞助的团队所说，Concourse的主要优点在于为管道提供明确的、第一级的支持；在容器中运行相互隔离的构建工作、可避免使用雪花型构建服务器、以及能够方便地访问构建日志等等。\\Concourse同时也...
linux高级管道工具,Concourse：可扩展的开源CI管道工具
weixin_34561824的博客
05-10 217
Concourse是一个开源的CI管道工具，它使用yaml文件对管道进行配置，以及设置无需配置的安装。Concourse最近发布了第一个主要版本，目前已经可以下载1.1.0版本。根据由Pivotal所赞助的团队所说，Concourse的主要优点在于为管道提供明确的、第一级的支持；在容器中运行相互隔离的构建工作、可避免使用雪花型构建服务器、以及能够方便地访问构建日志等等。Concourse同时也表示...
探索AWS DevOps Essentials：开启CI/CD之旅
最新发布
gitblog_00045的博客
05-18 354
探索AWS DevOps Essentials：开启CI/CD之旅 项目地址:https://gitcode.com/awslabs/aws-devops-essential 在快速变化的软件开发环境中，高效的持续集成和交付（CI/CD）实践是成功的关键。AWS DevOps Essentials是一个精心设计的入门级工作坊，旨在帮助开发者通过一系列实践性实验室，迅速掌握如何利用AWS服务优化开发...
CI/CD 工具比较：Jenkins、GitLab CI、Buildbot、Drone 和 Concourse
rubys007的博客
03-05 2595
持续集成、交付和部署是旨在帮助增加开发速度并发布经过充分测试的可用产品的策略。持续集成鼓励开发团队尽早测试和集成其对共享代码库的更改，以最小化集成冲突。持续交付建立在此基础上，通过消除部署或发布过程中的障碍。持续部署则进一步通过自动部署通过测试套件的每个构建。虽然上述术语主要涉及策略和实践，但软件工具在帮助组织实现这些目标方面起着重要作用。CI/CD 软件可以帮助团队自动推进新变更通过一系列阶段，以减少反馈时间并消除流程中的摩擦。
Concourse CI资源整合
weixin_34297300的博客
07-07 240
vedio CSDN-concourse的认知 the docs of beginner concourse architechure ATC-air traffic control ATC 是Concourse的心脏。运行着web ui和api，是负责调度pipeline的，ATC调度的pipeline以及构建的日志存储在postgresql中 [bosh]atc job: https:...
持续集成工具之Concourse
10-26
Concourse作为由Pivotal赞助的开源的CI(Continuous Integration，持续集成)工具，在目前市场上已经普遍使用，Concourse以pipeline机制运行集成任务。pipeline将Task、Resource、Job三者有机地结合起来，pipeline采用YAML文件配置，该配置可通过版本控制，方便移植和恢复；
CI-CD-AWS-ECS
02-14
先决条件您应该在具有公共子网和私有子网的帐户中创建VPC，并且私有子网应该具有到NAT... Amazon Elastic Container Service（ECS）集群应用程序负载均衡器ECR储存库允许创建IAM角色，策略AWS CLI 应用程序负载均衡器
terraform-aws-ecs：创建AWS ECS资源的Terraform模块
01-30
AWS ECS 则是亚马逊提供的一个完全托管的服务，用于运行和扩展容器化应用程序，特别是基于 Docker 容器的应用。 本文将深入探讨如何使用 Terraform 集成 AWS ECS，通过 `terraform-aws-ecs` 模块创建和管理 AWS ECS...
terraform-ecs：AWS ECS terraform模块
02-06
`terraform-ecs` 是一个Terraform模块，专门用于简化在AWS ECS上配置和部署应用程序的过程。通过使用这个模块，你可以更高效地创建和管理ECS集群、任务定义、服务和相关的AWS资源。 【核心组件】 1. **ECS集群**：...
Go-Concourse是一个采用Go开发基于管道的CI系统
08-13
Concourse是一个采用Go开发基于管道的CI系统
concourse(concourse ci)
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
02-25 444
正方形的英语单词怎么读？ 正方形的英语单词是：square 读音音标：英 [skweə(r)] 美32313133353236313431303231363533e59b9ee7ad9431333431336661 [skwer] 释义：n. 正方形；广场；街区；平方；直角尺；古板的人 adj. 正方形的；规矩...
整体 aws 架构和CICD 的整体工作流程
Martin 的博客
03-15 613
例如，在 ca-central-1 nonprod VPC 中创建的“agent-ca-nonprod”和在 ca-central-1 prod VPC 中创建的“agent-ca-prod”。这意味着当我们想要设置一组新的 VPC/EKS 时，也会创建 jenkins-agent 自动缩放配置。正在运行的 jenkins master 应用程序由 /home/ec2-user/jenkins-docker 下的 master ec2 中的 docker-compose.yml 管理。
实战：用Concourse实现端到端的蓝绿部署
linxiaoyin的博客
05-17 5106
Concourse简介Concourse是为执行敏捷开发并需要处理复杂交付排列的团队重新设计的CI工具，由Pivotal公司赞助开源，目前在市场上已经普遍使用。Concourse以pipeline机制运行集成任务。pipeline将Task、Resource、Job三者有机地结合起来，pipeline采用YAML文件配置，该配置可通过版本控制，方便移植和恢复。其Build构建在容器中运行，隔离各个...
DevOps实战：CI/CD、敏捷与精益方法详解
该课程涵盖了DevOps的关键组成部分，包括CI/CD（持续集成和持续部署）方法论，以及敏捷开发（Agile）和精益原则（LEAN）。课程分为几个部分： 1. **DevOps企业文化**：这部分介绍了DevOps的理念，强调开发和运维...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值