使用fastapi和pulumi搭建基于Azure云的IAC Restful API服务 — 对外发布

于 2024-06-20 16:17:43 发布
阅读量819 收藏 20
点赞数 22
文章标签： fastapi azure restful
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42196283/article/details/139835264
版权

图片

图片

前言

在IAC（即Infrastructure As Code，基础设施即代码）领域，Terraform 是一个老牌工具，使用HCL（HashiCorp Configuration Language）语言来编写配置文件。它支持几乎所有主流的云提供商，如AWS、Azure、GCP等，通过如下几个关键步骤管理基础设施：编写配置文件、初始化环境、生成执行计划、应用计划以及查看状态。

Pulumi 则是一个较新的IAC工具，支持使用多种常见的编程语言（如TypeScript、Python、Go、C#）来编写基础设施代码，而不仅限于声明式语法。这带来了许多灵活性和优势：

  1. 使用常用编程语言：Pulumi允许使用者使用熟悉的编程语言编写基础设施配置，这样可以使用语言本身的功能，如条件语句、循环、函数和模块化，提高代码的可读性和重用性。

  2. 更好的集成：Pulumi在与现有开发工具链（如CI/CD管道、测试框架等）集成方面表现出色，因此可以使用流行的编程生态系统中的库和工具。这对DevOps团队来说非常有吸引力。

  3. 灵活的状态管理：虽然Terraform也有状态文件用于记录资源的现实状态，Pulumi进一步简化了状态管理，允许使用不同的存储后端，包括云存储和Pulumi自己的服务。

  4. 更高的可扩展性：Pulumi支持JavaScript、TypeScript、Python、Go和C#等多种语言，这让它能够适应更广泛的需求和团队技术栈，可以更灵活地处理复杂的基础设施场景。

本文使用Python语言， 以pulumi作为后端IAC工具，服务端采用FastAPI框架提供Restful能力，来实现基于Azure云的IAC Restful API服务

架构设计

图片

架构说明：

  • 开发人员调用http接口来进行IAC操作

  • FastAPI服务端分为2个部分，一个gateway负责对外提供restful api服务，一个backend端负责解析前端数据，调用pulumi模块生成IAC代码

  • 任务信息会存入mysql数据库，起到任务追溯的作用以及作为资源cmdb的数据源

  • IAC操作完成后，会将此次操作变更同步进入资源CMDB

Pulumi模块说明

与经典的命令行模式执行pulumi来进行资源创建/变更不同，在本架构中使用Pulumi Automation来实现IAC能力。Pulumi Automation提供了一种编程接口，使得基础设施管理过程可以完全自动化和自定义。

Pulumi模块支持哪些资源

该模块涉及：

Azure资源模块

Resource GroupAks Cluster(ManagedCluster)Aks Nodepool(AgentPool)Availability SetContainer RegistryData FactoryDatabricks Access ConnectorDatabricks WorkspaceKey VaultLoad BalancerMysql Flexible ServerMysql Single ServerNetwork InterfaceNetwork Security GroupPrivate ZoneRecovery Service VaultRedisRole AssignmentRoute TableStorage AccountSubnetUser Assigned IdentityVirtual Machine

目前我们的pulumi模块现已支持以上azure资源

感兴趣的可以联系我们，提供相关代码模块

主要特点

  1. 集成灵活性：利用Pulumi Automation，可以更轻松地将基础设施管理操作嵌入到现有的应用程序或平台中。这对于需要与其他系统进行复杂交互的场景尤为适用，例如动态响应用户请求或事件驱动的基础设施变更。

  2. 复用性和模块化：通过将Pulumi的命令行操作封装在代码中，Pulumi Automation允许我们创建更具复用性和模块化的基础设施管理代码库。这对于大型团队和复杂项目尤其有价值，因为代码更易于维护和共享。

  3. 状态和并行处理：使用Pulumi Automation，可以更细致地管理资源状态和并行操作。我们可以根据具体情况编写代码来处理不同的资源状态，以及根据依赖关系有序地创建或销毁资源，这可以显著提升执行效率和可靠性。

  4. 错误处理和重试机制：通过编写自定义的错误处理和重试逻辑，Pulumi Automation可以更健壮地应对基础设施操作中的各种可能错误。我们可以在代码中捕获异常并进行适当的重试或回滚动作，而不必依赖于外部脚本或手动操作。

依赖模块

需求python 3.7+， 执行pip install -r requirements.txt来安装依赖模块

requirements.txt

pulumi>=3.0.0,<4.0.0pulumi-azure-native>=1.0.0,<2.0.0fastapi[all]jsonify>=0.5,<0.6pydantic>=1.9.1,<1.9.2pymysqlpyparsingpulumi_azure

实验步骤

前置条件

Python 

需求python 3.7+， 执行pip install -r requirements.txt来安装依赖模块 

Service Principal

服务主体必须对该订阅具有完全访问权限

pulumi环境变量

必须配置PULUMI_CONFIG_PASSPHRASE供pulumi连接到您的stack，若您使用非本地文件作为backend，则还需配置相应的backend所需字段

mysql数据库（可选）

用以记录资源创建任务信息

资源CMDB（可选）

根据自身需要，可配置一个资源CMDB，存放云资源实时参数配置与状态，以供实际使用

流程说明

图片

  • FastAPI gateway将异步调用backend方法，传递前端参数给到后端方法

  • FastAPI后端将参数入库，并调用pulumi模块，生成IAC代码

  • Pulumi模块内部使用Azure API，进行IAC操作

以下步骤为可选步骤

  • 资源信息同步至cmdb

  • FastAPI接口提供资源信息查询

步骤一、创建fastapi应用服务端

使用以下代码创建fastapi app（即对外restful api服务）

app.py

@auto_deploy_api.post("/create_resource")
async def create_res(VERABLES_DICT: Item, backgroundTasks: BackgroundTasks):
    VERABLES = VERABLES_DICT.VERABLES
    try:
        # 启动异步任务，因为创建资源耗时较长，http请求不应也无法一直保持
        backgroundTasks.add_task(create_resource, VERABLES, id)
        return {"message": "Task running at backend", "id": id}
    except auto.StackAlreadyExistsError:
        return HTTPException(status_code=409,detail="application already exists")
    except Exception as e:
        return Response(status_code=500, content=repr(e))

步骤二、集成fastapi与pulumi模块

将pulumi模块与fastapi服务集成在同一目录下，文件架构如下：

图片

app.py：fastapi 应用入口文件，定义restful接口

auto_deploy_inline.py：调用pulumi模块，执行IAC操作

pulumi_resources/IAC_resource：存放pulumi模块

create_resource 

def create_resource(VERABLES, task_id):
    project_name = VERABLES["GLOBAL_VARS"]["PROJECT_NAME"]
    app_name = VERABLES["GLOBAL_VARS"]["APPLICATION_NAME"]
    env = VERABLES["GLOBAL_VARS"]["ENV"]
    stack_name = "%s-%s-%s-stack" % (project_name, app_name, env)
    try:
        # 此方法处理前端传入的参数，调用pulumi模块，进行资源创建，此处仅以网络资源为例
        def resource_init():
            if "RESOURCE_GROUP" not in VERABLES.keys():
                raise Exception("Resource group is mandatory")
            rg = ResourceGroup(VERABLES["RESOURCE_GROUP"]["NAME"], location)
            if "NETWORK" in VERABLES.keys():
                if "ROUTE_TABLE" in VERABLES["NETWORK"].keys():
                    for rt_ele in VERABLES["NETWORK"]["ROUTE_TABLE"]:
                        RouteTable(rt_ele["name"], location, None, **rt_ele)
                if "NETWORK_SECURITY_GROUP" in VERABLES["NETWORK"].keys():
                    for nsg_ele in VERABLES["NETWORK"]["NETWORK_SECURITY_GROUP"]:
                        NetworkSecurityGroup(nsg_ele["name"], location, None, **nsg_ele)
             
 
        resource_stack = auto.create_or_select_stack(stack_name=stack_name,
                                                     project_name=app_name,
                                                     program=resource_init)
 
 
        update_resource_creation_task_record(data_dict)
        print("Start preview...")
        resource_up_res = resource_stack.preview(on_output=print)
        print("Preview OK...")
        time.sleep(1)
        print("Start up...")
        resource_up_res = resource_stack.up(on_output=print)
        print("Up OK...")
        data_dict["status"] = "successed"
        update_resource_creation_task_record(data_dict)
        return (resource_up_res.stdout)
    except Exception as e:
        data_dict["status"] = "failed"
        data_dict["output"] = repr(e)
        update_resource_creation_task_record(data_dict)

步骤三、启动fastapi应用

cd $YOURPATH/resource_deploy/auto_deploy_fastapi
uvicorn app:auto_deploy_api --host 0.0.0.0 --port 8000

步骤四、Postman调用接口创建资源

接下来，我们就可以通过http请求的方式，调用pulumi的IAC能力，操作Azure云的资源了

图片

示例payload

payload

{
    'VERABLES': {
        'GLOBAL_VARS': {
            'PROJECT_NAME': 'auto',
            'APPLICATION_NAME': 'auto',
            'ENV': 'dev',
            'LOCATION': 'chinanorth3',
            'SUBSCRIPTION_ID': '***********'
        },
        'RESOURCE_GROUP': {
            'NAME': 'test-pulumi-rg',
            'TAGS': {
                'ApplicationID': 'ITPlatform',
                'ApplicationName': 'ITPlatform'
            }
        },
        'NETWORK': {
            'ROUTE_TABLE': [{
                'name': 'test-rt01',
                'resource_group_name': 'test-network-rg01',
                'routes': [{
                    'name': 'rule1',
                    'address_prefix': '0.0.0.0/0',
                    'next_hop_type': 'VirtualAppliance',
                    'next_hop_ip_address': '10.20.128.140'
                }]
            }],
            'NETWORK_SECURITY_GROUP': [{
                'name': 'test-nsg01',
                'resource_group_name': 'test-network-rg01',
                'rules': [{
                    'access': 'Allow',
                    'destination_address_prefix': '*',
                    'destination_port_range': '*',
                    'direction': 'Inbound',
                    'name': 'rule1',
                    'priority': 1001,
                    'protocol': '*',
                    'source_address_prefixes': ['10.20.2.0/24'],
                    'source_port_range': '*'
                }]
            }]
        }
}

附言

用类似的方法，可以创建删除资源的接口与查看任务状态的接口，示例如下：

app.py

@auto_deploy_api.delete("/delete_resource")
async def delete_res(VERABLES_DICT: Item, backgroundTasks: BackgroundTasks):
    VERABLES = VERABLES_DICT.VERABLES
    try:
        # 启动异步任务，因为删除资源耗时较长，http请求不应也无法一直保持
        backgroundTasks.add_task(delete_resource, VERABLES)
        return {"message": "Will delete"}
    except auto.StackNotFoundError:
        return HTTPException(status_code=404,detail="application not found")
    except Exception as e:
        return Response(status_code=500, content=repr(e))
 
@auto_deploy_api.post("/stack_status")
async def delete_res(VERABLES_DICT: Item):
    VERABLES = VERABLES_DICT.VERABLES
    try:
        data = get_stack_status(VERABLES["ID"])
        return data
    except auto.StackNotFoundError:
        return HTTPException(status_code=404,detail="id not found")
    except Exception as e:
        return Response(status_code=500, content=repr(e))

auto_deploy_inline.py

def delete_resource(VERABLES):
    stack_name = VERABLES["GLOBAL_VARS"]["STACK_NAME"]
    project_name = VERABLES["GLOBAL_VARS"]["PROJECT_NAME"]
    client_id, client_secret, client_tenant = get_azure_sp()
    def resource_init():
        pass
 
    resource_stack = auto.create_or_select_stack(stack_name=stack_name,
                                                 project_name=app_name,
                                                 program=resource_init)
    resource_stack.refresh(on_output=print)
    resource_destroy_res = resource_stack.destroy(on_output=print)
  
    return (resource_destroy_res.stdout)
 
 
def get_stack_status(id):
    data = get_task_record(id)
    if len(data) == 0:
        raise auto.StackNotFoundError
    data_dict = {"id": id, "stack_name": data[0][1], "status": data[0][3],
                 "payload": data[0][2], "output": data[0][4]}
 
    return data_dict

调用方式：

图片

图片

另外，若配置了资源CMDB，可在FastAPI Gateway上配置资源信息查询接口，示例如下：

图片

联蔚盘云
关注
  • 22
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
CVE-2024-6387 OpenSSH Server 远程代码执行漏洞
07-03 557
这体现了在复杂软件维护和版本迭代中，对历史安全补丁的持续关注和代码审查的重要性。函数中的#ifdef DO_LOG_SAFE_IN_SIGHAND预处理指令，导致了信号处理器竞态条件的漏洞再次出现。服务器端的信号处理器竞态条件漏洞，它在特定版本间存在或消失，与代码变更紧密相关。版本前存在的信号处理器竞态条件，可能允许远程攻击者造成拒绝服务（崩溃），甚至执行任意代码。函数，使得它在信号处理器中成为安全的调用，所以这个时期版本的。（后者的修复不正确），则存在信号处理器竞态条件的漏洞。的一个回归，该漏洞最早在。
博客
深度学习赋能数据分析，联蔚盘云引领业务革新
07-02 275
我们利用先进的算法和模型，为企业提供精准的市场预测、消费者行为分析、业务优化等解决方案，帮助企业实现决策的科学化和智能化。联蔚盘云凭借其在深度学习领域的深厚积累，为企业提供高效、精准的数据分析解决方案，助力企业实现业务革新与增长。我们深知每个企业的业务需求都是独特的。因此，联蔚盘云提供定制化的数据分析服务，根据客户的具体需求量身定制解决方案，确保服务能够贴合企业实际，助力业务成功。联蔚盘云的数据分析解决方案能够为企业提供智能决策支持，帮助企业快速响应市场变化，抓住商机，实现业务增长。
博客
容器安全：等保合规性的基石
07-02 146
在网络安全等级保护制度（等保）的框架下，容器安全的要求日益凸显，成为等保合规性的基石。本文将深入探讨容器安全在等保中的重要性，并为您提供确保容器环境安全性的实用指南。为了确保容器环境的安全性和合规性，组织需要采取一系列措施，包括安全配置管理、监控与审计、漏洞管理、数据保护和灾难恢复等。在等保中，微服务架构的应用越来越广泛，因此容器安全成为等保合规性的关键要素。容器环境的动态特性，如容器的创建、部署和销毁，给安全带来了新的挑战。等保要求对容器环境进行严格的安全配置管理，包括网络配置、存储配置和容器镜像管理。
博客
Lianwei 安全周报|2024.07.01
07-01 891
新的一周又开始了，以下是本周「Lianwei周报」，我们总结推荐了本周的政策/标准/指南最新动态、热点资讯和安全事件，保证大家不错过本周的每一个重点！
博客
解锁数字化转型的双引擎：MSP和CMP的力量
06-28 756
管理服务提供商 (MSP) 是第三方公司，负责管理和维护企业的IT基础设施和端点系统。MSP提供的服务通常包括网络管理、应用管理、安全管理和数据备份等。MSP的主要目标是通过提供持续的监控和支持，确保IT系统的高可用性和性能。云管理平台 (CMP) 是一套软件工具，帮助企业管理和优化其多云环境。CMP提供的功能包括云资源管理、成本优化、安全管理和合规性监控等。CMP的主要目标是通过自动化和集成工具，提高云环境的可见性和可控性。
博客
业务主体数据OneID（统一身份）构建
06-27 914
初步定义了主体ID优先级，优先级确认以“OneID相对稳定，匹配大多数业务场景需求”为原则，通过行业对标并结合业务实情，确定将主体信息中的ContactID为OneID的中心挂靠ID。初步确定数据源主体ID关系对置信度。预取客户信息的ContactID值作为Global_ID（若没有ContactID值，系统会为客户ID生成对应的v_Global_ID值），并使用Global_ID和v_Global_ID连接客户ID，生成OneID。在客户ID归并阶段，采用客户ID优先级原则、客户ID更新原则。
博客
容易混淆的ITAM与CMDB
06-26 649
IT资产管理（ITAM）是指对组织内的IT资产进行系统化的管理和控制。IT资产包括硬件（如服务器、工作站、路由器）、软件（如操作系统、应用程序）、以及其他技术资源（如许可证、网络设备）。ITAM的主要目标是优化资产的使用，降低成本，减少风险，并确保合规性。配置管理数据库（CMDB）是一个集中存储系统，它包含了与IT基础设施相关的所有配置信息。CMDB不仅记录IT资产的物理和逻辑关系，还包括它们的配置状态和变更历史。CMDB的主要目的是支持IT服务管理（ITSM），提高变更管理、事件管理和问题管理的效率。
博客
DevOps CMDB平台整合Jira工单
06-25 529
在DevOps CMDB平台建设的过程中，我们可以很容易的将业务应用所涉及的云资源（WAF、K8S、虚拟机等）、CICD工具链（Jenkins、ArgoCD）、监控、日志等一次性的维护到CMDB平台，但随着时间的推移，我们却很难及时适应业务应用资源的变化，从而及时有效的更新DevOps CMDB资源。手动处理：操作复杂且需要Jira工单详情的事件，可以在CMDB收到事件后进一步处理，提取工单内容，并以邮件的方式提醒CMDB维护人员，可以设置周期性提醒直到CMDB维护人员处理完CMDB变更后关闭该提醒。
博客
Lianwei 安全周报|2024.06.24
06-25 1125
新的一周又开始了，以下是本周「Lianwei周报」，我们总结推荐了本周的政策/标准/指南最新动态、热点资讯和安全事件，保证大家不错过本周的每一个重点！
博客
Databricks的资源优化方案
06-24 430
Databricks的资源优化方案是一个综合性的过程，旨在提高数据处理、分析和AI计划的性能。
博客
CheckPoint 防火墙 CVE-2024-24919 VPN 漏洞修复说明
06-20 853
9. 主设备依次安装步骤6-7操作，操作完毕后，若需要切换HA，在主设备上专家模式敲命令cluster_admin down cluster_admin up。8. 重启完毕后，依次检查HA状态，并手工切换HA，在主设备上专家模式敲命令cluster_admin down cluster_admin up。5. 对于联网设备，可以在线下载安装补丁包，点击check for Updates，离线设备可以按前面讲到的对应补丁包下载后导入即可。10. 操作完毕后，对比设备配置及策略，无误后进行业务验证测试。
博客
Lianwei 安全周报|2024.06.17
06-17 1040
新的一周又开始了，以下是本周「Lianwei周报」，我们总结推荐了本周的政策/标准/指南最新动态、热点资讯和安全事件，保证大家不错过本周的每一个重点！
博客
VM映像构建实践
06-14 706
VM映像做为创建VM的必要条件，各类云环境映像市场均有提供最基础的映像。创建VM后，通常还需要根据组织或用户的需求，安装一些软件、修改配置后才能满足使用需求。这类需求通常可以手动部署或者借助一些配置管理工具，如ansible、puppet、saltstack等来实现，也可以考虑构建自定义的映像，集成软件部署和配置。
博客
Lianwei 安全周报|2024.06.11
06-11 688
该框架以新加坡资讯通信媒体发展局（“ IMDA ”）、Aicadium （一家提供AI解决方案的公司）和 AI Verify 基金会联合发布的“关于生成式人工智能的讨论文件”中强调的政策理念为基础，并借鉴了主要司法管辖区、国际组织、研究界和领先的人工智能组织的见解和讨论，反映了生成式AI中新兴的原则、关注点和技术发展。新的一周又开始了，以下是本周「Lianwei周报」，我们总结推荐了本周的政策/标准/指南最新动态、热点资讯和安全事件，保证大家不错过本周的每一个重点！
博客
如何处理网安发出的网络安全监督检查限期整改通知
05-27 472
近期，很多客户都收到了网安发出的限期整改通知。大家都比较关心的问题是，如何应对处理这些限期整改通知。后续是否有其他的影响，需要如何做进一步的优化整改和调整。今天就这些问题给大家做一些分享。
博客
Lianwei 安全周报|2024.05.27
05-27 764
为引导工业和信息化领域数据处理者规范开展数据安全风险评估工作，提升数据安全管理水平，维护国家安全和发展利益，保障国家关键信息基础设施的安全稳定，推动数字经济的健康发展，工业和信息化部根据《中华人民共和国数据安全法》《中华人民共和国网络安全法》等法律，按照《工业和信息化领域数据安全管理办法(试行)》有关要求，印发了《工业和信息化领域数据安全风险评估实施细则（试行）》，自 2024 年 6 月 1 日起正式施行。IDC 预测，到 2027 年，中国网络安全硬件市场规模将达到 364 亿人民币。
博客
AI大模型知识库与向量数据库：解锁智能问答新时代
05-23 226
无论是大型企业还是初创公司，我们都能为你提供全方位的支持和服务，帮助你在数字化时代中取得更大的成功。想象一下，当你输入一个问题或查询时，系统能够迅速理解你的意图，并给出精准的回答。这样，系统就能更准确地捕捉你的需求，为你提供定制化的答案。随着AI技术的飞速发展，我们的世界正在经历一场前所未有的智能化变革。在这个变革中，AI大模型知识库与向量数据库的完美结合，为知识查询和用户问答领域带来了全新的体验。每个人的需求都是独特的，而基于AI大模型知识库与向量数据库的智能问答系统能够为你提供个性化的服务。
博客
如何设计与构建企业IT数字化运维体系与目标
05-23 789
设计与构建企业IT数字化运维体系需要全面规划，从明确目标、设计架构、选择工具、制定流程到实施与优化，每一步都需要细致入微。同时，通过细化和量化运维目标，可以更好地监控和评估运维工作的效果，确保体系的高效运行和持续改进。只有将运维体系与企业整体战略紧密结合，才能真正发挥其价值，助力企业实现数字化转型目标。
博客
基于Backstage平台工程探索
05-23 431
平台工程是一门设计和构建工具链和工作流的学科，这些工具链和工作流为云原生时代的软件工程组织提供自助服务功能。开发人员提供软件的实体信息，对于平台工程师来说，它允许您轻松地集成新的工具和服务（通过插件），并扩展现有工具和服务的功能，从而实现可扩展性和可扩展性。对每个人来说，这是一种单一、一致的体验，将所有基础设施工具、资源、标准、所有者、贡献者和管理员连接在一个地方。是一个用于构建开发人员门户的开源框架，统一了所有基础设施工具、服务和文档，以创建端到端的简化开发环境，由。中获得一个漂亮的文档站点。
博客
数据资产与会计分类
05-23 181
数据资源能否被确认为资产，需要依据《企业会计准则 -基本准则》 (财政部令第33 号)第二十条“资产是指企 业过去的交易或者事项形成的、由企业拥有或者控制的、 可能会给企业带来经济利益的资源”的规定来判断。企业将一项资源在会计上确认为一项资产，既要符合基本准则有关资产的定义，还应同时满足以下两个条件：1. 预期与该资源有关的经济利益流入企业2. 该资源的成本或者价值能够可靠地计量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值