基于 ROS 的Terraform托管服务轻松部署Qwen-7B-Chat

介绍

通义千问-7B（Qwen-7B）是阿里云研发的通义千问大模型系列的70亿参数规模模型。Qwen-7B是基于Transformer的大语言模型，在超大规模的预训练数据上进行训练得到。预训练数据类型多样，覆盖广泛，包括大量网络文本、专业书籍、代码等。同时，在Qwen-7B 的基础上，使用对齐机制打造了基于大语言模型的AI助手Qwen-7B-Chat。

资源编排服务（Resource Orchestration Service， ROS）是阿里云提供基于基础设施即代码（Infrastructure as Code, IaC） 理念的自动化部署服务，我们可以通过定义一个 Terraform 模板，轻松部署云上的 Qwen-7B 模型。

⚠️说明：
Qwen-7B-Chat的代码依照LICENSE开源，免费商用需填写商业授权申请。您应自觉遵守第三方模型的用户协议、使用规范和相关法律法规，并就使用第三方模型的合法性、合规性自行承担相关责任。

部署步骤

1. 登录ROS控制台 Qwen-7B 部署页面

2. 配置模板参数：选择 ECS 实例的实例类型、可用区参数
   

3. 点击【下一步】，然后点击【创建】进行资源部署。部署完成后，点击资源栈的输出，即可看到 Qwen-7B-Chat 服务的地址。点击链接即可体验 Qwen-7B-Chat 的功能。
   

4. 在Input对话框中，输入对话内容，单击Submit（发送），即可开始AI对话。
   

部署原理

我们可以看到通过 ROS 可以非常快捷地部署阿里云上的各种云资源（比如 VPC、VSwitch、ECS 实例等）和应用程序（比如 Qwen-7B-Chat）。如果想了解是如何做到的，那么可以阅读此章节。

1. 编写 Terraform 模板。在如下模板中定义了：

• Resources：定义了 VPC、VSwitch、ECS 实例、安全组、安全组规则以及安装 Qwen-7B-Chat 的命令执行。
• Parameters：定义了常用的参数，比如可用区、ECS实例类型类型。
• Outputs：定义了自定义输出，比如 Qwen-7B-Chat 服务的地址

variable "zone_id" {
  type        = string
  description = <<EOT
  {
    "AssociationProperty": "ZoneId",
    "Label": {
      "zh-cn": "可用区ID",
      "en": "Zone ID"
    }
  }
  EOT
}

variable "instance_type" {
  type        = string
  description = <<EOT
  {
    "Label": {
        "zh-cn": "实例类型",
        "en": "Instance Type"
    },
    "AssociationProperty": "ALIYUN::ECS::Instance::InstanceType",
    "AssociationPropertyMetadata": {
      "Constraints": {
        "Memory": [
          64
        ]
      }
    }
  }
  EOT
  default     = "ecs.g8a.4xlarge"
}

resource "alicloud_vpc" "vpc" {
  vpc_name   = "qwen-7b-vpc"
  cidr_block = "192.168.0.0/16"
}

resource "alicloud_vswitch" "vswitch" {
  vpc_id     = alicloud_vpc.vpc.id
  zone_id    = var.zone_id
  cidr_block = "192.168.0.0/24"
}


resource "alicloud_security_group" "group" {
  vpc_id = alicloud_vpc.vpc.id
}

resource "alicloud_security_group_rule" "rule" {
  type              = "ingress"
  ip_protocol       = "tcp"
  nic_type          = "intranet"
  policy            = "accept"
  port_range        = "7860/7860"
  priority          = 1
  security_group_id = alicloud_security_group.group.id
  cidr_ip           = "0.0.0.0/0"
}

resource "alicloud_instance" "ecs" {
  availability_zone          = var.zone_id
  security_groups            = alicloud_security_group.group.*.id
  instance_type              = var.instance_type
  system_disk_category       = "cloud_essd"
  image_id                   = "aliyun_3_x64_20G_alibase_20240528.vhd"
  instance_name              = "qwen-7b"
  vswitch_id                 = alicloud_vswitch.vswitch.id
  internet_max_bandwidth_out = 100
  system_disk_size = 100
}

locals {
  command         = <<EOF
#!/bin/bash
wget https://help-static-aliyun-doc.aliyuncs.com/file-manage-files/zh-CN/20231207/puju/deploy_qwen-7b-chat.sh
chmod +x deploy_qwen-7b-chat.sh
sed -i 's/@ 2>\&1/@ > output.log 2>\&1/' deploy_qwen-7b-chat.sh
./deploy_qwen-7b-chat.sh
EOF
  base_64_command = base64encode(local.command)
}

resource "alicloud_ecs_command" "command" {
  name            = "qwen-7b-command"
  command_content = local.base_64_command
  type            = "RunShellScript"
  timeout         = 3600
}

resource "alicloud_ecs_invocation" "default" {
  command_id  = alicloud_ecs_command.command.id
  instance_id = [alicloud_instance.ecs.id]
  timeouts {
    create = "3600s"
  }
}


output "Qwen-7B-Chat-Url" {
  value = format("http://%s:7860", alicloud_instance.ecs.public_ip)
}

2. 在 ROS 控制台中使用此模板创建资源栈。ROS 会自动解析出模板中资源的依赖关系，按照资源依赖顺序创建云资源。如果资源间没有依赖，则会并发创建，从而提升部署效率。ROS 会把这次创建的所有资源存放到一个“资源栈”中，后续可以方便地管理这组资源集合。比如：

• 将新模板应用到这个“资源栈”中，从而更新里面的资源。
• 删除这个“资源栈”，从而把所有的资源删掉。

总结

基于 IaC 的理念，通过定义一个模板，使用 ROS 进行自动化部署，可以非常高效快捷地部署任意云资源和应用（比如 Qwen-7B 模型）。相比于手动部署或者通过 API、SDK 的部署方式，有着高效、稳定等诸多优势，也是服务上云的最佳实践。