丹摩 | 智谱清影 CogVideoX-2b:深度解析部署流程与高效使用指南

  • 文章声明:仅个人体验,非广告;
  • 作者:又是美好的一天

CogVideoX 简介

智谱 AI 在 8 月 6 日宣布了一个令人兴奋的消息:他们将开源视频生成模型 CogVideoX,目前,其提示词上限为 226 个 token,视频长度为 6 秒,帧率为 8 帧 / 秒,视频分辨率为 720*480,而这仅仅是初代,性能更强参数量更大的模型正在路上。

CogVideoX 的核心在于它的 3D 变分自编码器,这项技术能够将视频数据压缩至原来的 2%,极大地降低了模型处理视频时所需的计算资源,还巧妙地保持了视频帧与帧之间的连贯性,有效避免了视频生成过程中可能出现的闪烁问题。

在这里插入图片描述

  • 为了进一步提升内容的连贯性,CogVideoX 采用了 3D 旋转位置编码(3D RoPE)技术,使得模型在处理视频时能够更好地捕捉时间维度上的帧间关系,建立起视频中的长期依赖关系,从而生成更加流畅和连贯的视频序列。

  • 在可控性方面,智谱 AI 研发了一款端到端的视频理解模型,这个模型能够为视频数据生成精确且与内容紧密相关的描述。这一创新极大地增强了 CogVideoX 对文本的理解和对用户指令的遵循能力,确保了生成的视频不仅与用户的输入高度相关,而且能够处理超长且复杂的文本提示。

代码仓库链接,点击跳转
模型下载链接,点击跳转
技术报告链接,点击跳转

本篇将详细介绍使用丹摩服务器部署和初步使用 CogVideoX 的实践流程。

CogVideoX 部署实践流程

创建丹摩实例
  • 首先进入控制台,选择 GPU 云实例,点击创建实例:
    在这里插入图片描述

  • 由于 CogVideoX 在 FP-16 精度下的推理至少需 18GB 显存,微调则需要 40GB 显存。

  • 创建成功,运行中:

配置环境和依赖

官方代码仓库,点击跳转
基于官方代码仓库的配置方法推荐您阅读,点击跳转

平台已预置了调试好的代码库,您可开箱即用,以下是配置方法:

  • 进入 JupyterLab 后,打开终端,首先拉取 CogVideo 代码的仓库
wget http://file.s3/damodel-openfile/CogVideoX/CogVideo-main.tar
  • 下载完成后解压缩CogVideo-main.tar
tar -xf CogVideo-main.tar
  • 其次,进入 CogVideo-main 文件夹,输入安装对应依赖:
cd CogVideo-main/
pip install -r requirements.txt

在这里插入图片描述

以上依赖安装好后,可以在终端输入 python,然后输入以下代码进行测试:

import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video
  • 显示如下状态,没有报错就说明依赖安装成功!输入quit()可退出 python。
    在这里插入图片描述
模型与配置文件

除了配置代码文件和项目依赖,还需要上传 CogVideoX 模型文件和对应的配置文件。

官方模型仓库,点击跳转
基于官方模型仓库的配置方法推荐您阅读,点击跳转

平台已为您预置了 CogVideoX 模型,您可内网高速下载,执行以下命令:

cd /root/workspace
wget http://file.s3/damodel-openfile/CogVideoX/CogVideoX-2b.tar

在这里插入图片描述

下载完成后解压缩CogVideoX-2b.tar

tar -xf CogVideoX-2b.tar

解压后的目录如图所示

在这里插入图片描述

开始运行
调试
  • 进入CogVideo-main文件夹,运行test.py文件:
cd /root/workspace/CogVideo-main
python test.py
  • test.py 代码内容如下,主要使用diffusers库中的CogVideoXPipeline模型,加载了一个预训练的 CogVideo 模型,然后根据一个详细的文本描述(prompt),生成对应视频:
import torch
from diffusers import CogVideoXPipeline
from diffusers.utils import export_to_video

# prompt里写自定义想要生成的视频内容
prompt = "A panda, dressed in a small, red jacket and a tiny hat, sits on a wooden stool in a serene bamboo forest. The panda's fluffy paws strum a miniature acoustic guitar, producing soft, melodic tunes. Nearby, a few other pandas gather, watching curiously and some clapping in rhythm. Sunlight filters through the tall bamboo, casting a gentle glow on the scene. The panda's face is expressive, showing concentration and joy as it plays. The background includes a small, flowing stream and vibrant green foliage, enhancing the peaceful and magical atmosphere of this unique musical performance."

pipe = CogVideoXPipeline.from_pretrained(
    "/root/workspace/CogVideoX-2b", # 这里填CogVideo模型存放的位置,此处是放在了数据盘中
    torch_dtype=torch.float16
).to("cuda")

# 参数do_classifier_free_guidance设置为True可以启用无分类器指导,增强生成内容一致性和多样性
# num_videos_per_prompt控制每个prompt想要生成的视频数量
# max_sequence_length控制输入序列的最大长度
prompt_embeds, _ = pipe.encode_prompt(
    prompt=prompt,
    do_classifier_free_guidance=True,
    num_videos_per_prompt=1,
    max_sequence_length=226,
    device="cuda",
    dtype=torch.float16,
)

video = pipe(
    num_inference_steps=50,
    guidance_scale=6,
    prompt_embeds=prompt_embeds,
).frames[0]

export_to_video(video, "output.mp4", fps=8)
  • 运行成功后,可以在当前文件夹中找到对应prompt生成的 output.mp4 视频:

在这里插入图片描述

webUI

模型官方也提供了 webUIDemo,进入CogVideo-main文件夹,运行gradio_demo.py文件:

cd /root/workspace/CogVideo-main
python gradio_demo.py

此时我们需要通过丹摩平台提供的端口映射能力,把内网端口映射到公网;

进入GPU 云实例页面,点击操作-更多-访问控制:

在这里插入图片描述

点击添加端口,添加7870端口

在这里插入图片描述

添加成功后,通过访问链接即可访问到刚刚启动的gradio页面:
在这里插入图片描述


### 关于智谱清影产品及其使用方法 #### 清影简介 就在今天,智谱AI CEO张鹏在智谱Open Day上宣布,智谱清言正式上线名为“清影”的AI视频生成功能[^2]。这一功能基于智谱自研的大规模预训练模型CogVideo实现,旨在让每一个人都能够轻松创建个性化的视频内容。 #### 功能特点 清影不仅支持文字转视频(文生视频),还提供图片转视频(图生视频)的能力。更重要的是,“清影”面向全体用户提供完全免费的服务,并开放API接口供开发者集成调用[^3]。 #### 用户群体适用范围 无论是Vlogger、社交媒体达人还是普通用户都可以通过简单操作快速制作高质量的短视频作品。特别是对于想要激活旧照片的新生命的人群来说,“清影”可以将静态图像转化为生动有趣的动态影像,帮助人们重温美好回忆[^4]。 #### 如何获取并开始使用? 为了方便更多人参到这个创新项目当中来,官方团队已经准备了一份详尽的帮助手册以及一系列入门教程,涵盖了从安装配置环境到具体应用场景下的实践案例等多个方面的内容[^1]。 ```python import requests def generate_video_from_text(text, api_key='your_api_key'): url = "https://api.zhipu.com/clearshadow/v1/generate" headers = { 'Content-Type': 'application/json', 'Authorization': f'Bearer {api_key}' } payload = {"text": text} response = requests.post(url, json=payload, headers=headers) if response.status_code == 200: result = response.json() video_url = result.get('data', {}).get('videoUrl') return video_url else: raise Exception(f"Failed to generate video: {response.text}") # Example usage of the function try: generated_video_link = generate_video_from_text("这是一段测试的文字描述") print(f"The generated video can be viewed at this link: {generated_video_link}") except Exception as e: print(e) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值