open sora1.1容器构建教程指南

于 2024-09-18 17:00:42 发布
阅读量758 收藏 22
点赞数 30
分类专栏： 模型构建 文章标签： 视频生成 图像生成 opensora 开源 大模型 人工智能 AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SJJS_1/article/details/142337974
版权

一、介绍

Open-Sora 1.1 项目是 Colossal AI 团队开发的一个完全开源的视频生成项目，该项目致力于高效制作高质量视频，并通过开源原则实现先进视频生成技术的低成本普及。

1. 项目背景与目标

Open-Sora 项目旨在通过提供开源的模型、工具和内容，简化视频制作的复杂性，使更多人能够参与到内容创作领域的创新、创造和包容中来。对于1.0版本在功能、训练效率和整体灵活性方面进行了显著改进。

2. 主要特性与改进

（1）视频生成能力增强 ：

  • 延长视频长度 ：Open-Sora 1.1 能够生成长达 21 秒的视频（部分信息提到为 15 秒，但最新消息显示已提升至 21 秒），与 Open-Sora 1.0 的 2 秒限制相比，这是一个显著的增加。
  • 可变输出 ：支持不同分辨率（从 144p 到 720p）和宽高比的视频生成，满足多样化的项目需求。

（2）图像生成功能 ：

  • 除了视频生成外，Open-Sora 1.1 还扩展了图像生成功能，使用户能够在生成视频的同时创建高质量的静态图像。

（3）增强的提示功能 ：

  • 允许用户利用图像和视频作为视频生成的提示，实现图转动画、视频延展、视频编辑和视频拼接等功能。

（4）模型架构与训练优化 ：

  • 模型架构修改 ：引入了 ST-DiT-2 模型架构，这是 Open-Sora 1.0 中使用的原始模型架构的改进版本，提高了训练稳定性和整体性能。
  • 多任务学习 ：在训练过程中采用多任务学习方法，使模型能够同时处理各种视频属性，包括分辨率、帧长和宽高比。
  • 数据处理流程 ：采用了一套细致的数据处理流程，包括原始视频分割、多分数评估、字幕和匹配分数计算、最终过滤和摄像机运动检测等步骤，确保高质量的训练数据。
  • Bucket 系统 ：用于在不同分辨率的视频上高效训练模型，通过分桶的方式支持不同批次的动态尺寸，降低计算成本并平衡 GPU 负载。

（5）技术细节 ：

  • 时序注意力 ：引入了 RoPE 位置编码，并使用 AdaIN 和 LN 来稳定训练过程。
  • QK-normalization ：与 SD3 一样，使用 QK-norm 来稳定半精度训练过程。
  • 支持不同尺寸视频作为训练样本 ：增加视频的宽高、时长和 fps 等信息到 text 中作为条件，使模型能够生成具有多种特性的视频。

二、容器构建说明

下面将以 open sora1.1项目进行部署，由于模型较大建议使用 RTX3090 及以上显卡 。

1. 安装 miniconda

进入 Anaconda 官网：

Miniconda — Anaconda 文档

找到快速命令行安装，选择 Linux 系统，复制代码进入终端中进行安装。

image.png

image.png

等待安装完成。

2. 安装并更新基础命令，让后续使用更快捷： unzip、lsof、git、git-lfs

apt-get update
apt-get install -y unzip
apt-get install -y lsof
apt-get install -y git
apt-get install -y git-lfs

image.png

3. 克隆项目仓库，并打开文件

项目地址：GitHub - PKU-YuanGroup/Open-Sora-Plan: This project aim to reproduce Sora (Open AI T2V model), we wish the open source community contribute to this project.

使用 Web URL 进行克隆默认下载 v1.2.0 版本，因此需找到 v1.1.0 版本的项目进行压缩包下载

image.png

上传压缩包至终端，解压。

unzip Open-Sora-Plan-1.1.0

打开文档

cd Open-Sora-Plan-1.1.0

4. 创建 python 为 3.8 版本的虚拟环境，名称为 opensora

conda create -n opensora python=3.8 -y

5. 激活虚拟环境 opensora

conda activate opensora

6. 安装项目依赖文件

为了安装速度更快可以将 pip 进行永久换源

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

pip install -e .

7. 指定端口：

export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080

8. 更改模型库的镜像，运行 py 文件（运行项目，首次运行会自动下载模型参数，需要保证网络通畅）

export HF_ENDPOINT=https://hf-mirror.com
python -m opensora.serve.gradio_web_server

耐心等待

image.png

image.png

出现以下界面即为运行成功

image.png

三、网页演示

运行成功后获取访问链接，进入 webUI 界面后即可操作：

image.png

image.png

算家云
关注
专栏目录
博客
一文看懂英伟达系列显卡特点及性能参数对比
09-27 488
随着人工智能技术的迅猛发展，全球范围内GPU市场规模持续扩张，算力需求也在不断增加，如何高效、便捷、便宜地使用算力，已然成为了更多人思考的问题，算家云致力于为中小微企业、高校师生等AI用户群体提供简单、高效、便宜的GPU算力，以支持他们在数据分析、生成式人工智能、机器学习、模型推理等领域的计算需求。K-Series系列: K8、K10、K20c、K20s、K20m、K20Xm、K40t、K40st、K40s、K40m、K40c、K520、K80。P-Series系列: P4、P6、P40、P100。
博客
CodeFormer模型构建指南
09-27 604
CodeFormer：一键修复，让人像重焕光彩。它是南洋理工大学-商汤科技联合研究中心 S-Lab 提出的一种基于 VQGAN+Transformer的人脸复原模型，能够接收模糊或马赛克图像作为输入，并生成更清晰的原始图像。本文将详细介绍如何构建该模型。
博客
如何在算家云搭建MVSEP-MDX23（音频分离）
09-27 603
MVSEP-MDX23音乐分离模型是基于Demucs4、MDX神经网络架构和Ultimate Vocal Remover项目中的一些 MDX 权重。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 MVSEP-MDX23 。
博客
如何在算家云搭建CodeFormer（照片修复）
09-26 636
CodeFormer 是一款强大的人工智能工具，专为处理低质量、损坏或模糊的面部图像而设计，主要用于图像和视频的修复和增强。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 CodeFormer 。
博客
SadTalker模型部署教程
09-26 233
SadTalker模型是一个基于深度学习的开源模型，主要是用于根据图片和音频文件自动生成人物说话的动画视频。该模型通过接收一张图片和一段音频文件，能够自动生成包含人脸动作（如张嘴、眨眼、移动头部等）的说话动画视频。本文详细介绍了该模型的本地部署过程。
博客
EchoMimic模型部署教程
09-25 1078
EchoMimic 是一个由阿里巴巴蚂蚁集团开发的开源 AI 数字人项目，通过可编辑地标调节实现逼真的音频驱动肖像动画，它能够将静态图像转化为具有动态语音和表情的数字人像 。本文将详细介绍该模型如何实现本地部署。
博客
如何在算家云搭建text-generation-webui（文本生成）
09-25 985
text-generation-webui 是一个流行的用于文本生成的 Gradio Web UI。支持 transformers、GPTQ、AWQ、EXL2、llama.cpp (GGUF)、Llama 模型。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 text-generation-webui 。
博客
如何在算家云搭建DiffSynth-Kolors-Painter（图像生成）
09-24 317
DiffSynth 画板提供了 Prompt 分区控制技术，可以通过创建图层、调整不同的提示（Prompt）精细地控制画面的每一部分，影响画面的特定区域，从而实现对画面的精细操控。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 DiffSynth-Kolors-Painter。
博客
Video-Infinity模型部署指南
09-24 728
视频无限！Video-Infinity是一个先进的视频生成模型，使用多个 GPU 快速生成长视频，无需额外训练。它能够基于用户提供的文本或图片提示，创造出高质量、多样化的视频内容。
博客
如何在算家云搭建SDXL-Lightning（图像生成）
09-23 1032
SDXL-Lightning 项目是由字节跳动开发的一个创新性的 AI 图像生成项目，该项目通过采用全新的蒸馏战略，优化了扩散模型，实现了从文字到高清图像的快速、高质量生成。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建SDXL-Lightning。
博客
Kolors模型部署指南
09-23 369
快手前沿AI杰作，文本转图片的非凡模型！Kolors 能够生成具有高分辨率和逼真度的图像，在生成自然风光、人物肖像等方面，能够呈现出令人惊艳的效果。本文将带领大家实现该模型本地部署。
博客
如何在算家云搭建I2VGen-XL（图生视频）
09-20 254
I2VGen-XL 是一种扩散模型，可以生成比 SVD 更高分辨率的视频，该模型使用两个分层编码器（细节和全局编码器）进行训练，以更好地捕获图像中的低级和高级细节。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建I2VGen-XL。
博客
YOLOv5模型部署教程
09-20 404
YOLOv5模型是一种由Ultralytics开发以实时物体检测闻名的计算机视觉模型，它是YOLO系列的升级版，继承了YOLO系列以实时物体检测能力而著称的特点。本文详细介绍了如何实现该模型本地部署。
博客
如何在算家云搭建RVC-WebUI（语音转换）
09-19 994
Retrieval-based-Voice-Conversion-WebUI（简称 RVC）模型是一个基于 VITS的简单易用的语音转换框架。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建 RVC-WebUI 。
博客
open sora1.2容器构建教程指南
09-19 913
OpenSora 1.2 是一款在文生视频技术领域取得重要进展的开源模型，由潞晨团队等开发者共同推出。本文详细介绍了该如何实现该模型本地构建。
博客
如何在算家云搭建DynamiCrafter（图生视频）
09-18 870
DynamiCrafter 是一种（文本-）图像到视频/图像动画的方法，旨在从条件图像和文本提示中生成短视频片段，可以将静止图像转换为动画。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建DynamiCrafter 。
博客
如何在算家云搭建TripoSR（三维重建）
09-14 492
TripoSR是由Tripo AI和Stability AI合作开发的先进开源模型，能在短时间内从单张图片生成高质量 3D 模型。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建TripoSR。
博客
ChatGLM3模型搭建教程
09-14 824
ChatGLM3：智能对话新篇章，它是智谱 AI 和清华大学 KEG 实验室联合发布的对话预训练模型。本文详细介绍了实现该模型本地部署的步骤。
博客
如何在算家云搭建InstantMesh（3D模型生成）
09-13 655
InstantMesh 是一个由腾讯 ARC 实验室推出的创新项目，该项目旨在通过单张图像快速生成高质量的三维网格模型，为 3D 建模和可视化领域带来了新的变革。本文介绍了在算家云搭建该模型的详细方法和步骤，以便广大用户能在算家云快速搭建InstantMesh。
博客
InstantMesh模型构建指南
09-13 996
InstantMesh：单图秒变高质量三维网格，开启视觉新维度。它是一个由腾讯 ARC 实验室推出的创新项目，该项目旨在通过单张图像快速生成高质量的三维网格模型。本文详细介绍了该模型本地部署步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值