多模太大模型清单收集

1. AI大一统：阿里达摩院发布多任务、多模态统一模型OFA

功能：包括3类跨模态、单模态和zero-shot。具有文本到图像生成、图像描述生成（标题生成）、视觉问答、图像查找、图像分类等

源码地址：https://github.com/OFA-Sys/OFA

论文地址：https://arxiv.org/pdf/2202.03052.pdf

开源时间：22.03

阿里大模型网址：https://modelscope.cn/home

文本到图片生成演示：https://decoder.modelscope.cn/pcIndex

2. dall-e2 文本到图片生成

说明：商品化

厂家： OpenAI

3. 谷歌的 Imagen 和 Midjourney产品

说明：商品化，使用的diffuser 模型

4. Stable diffusion 模型：Hugging Face发布diffuser模型AI绘画库

功能：文本生成图像

开源地址：

Hugging Face 网址：https://huggingface.co/yulet1de/stablediffusion2

开源时间:22.08

说明：上面是普通的模型，里面还有很多其他类型 diffusion 模型

5.oneflow 中文版和中英文版“太乙Stable diffusion” 模型

功能：文本生成图像

开源地址：https://github.com/Oneflow-Inc/diffusers/wiki/How-to-Run-OneFlow-Stable-Diffusion#without-docker

Hugging Face 网址-纯中文：https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1

Hugging Face 网址-中英文：https://huggingface.co/IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-EN-v0.1

开源时间:22.11

说明：上面是普通的模型，里面还有很多其他类型 diffusion 模型

5.英伟达Magic3d

功能：文本生成3d

是否开源：未发布代码

开源地址：

论文地址：https://arxiv.org/pdf/2211.10440.pdf

资料网址：https://deepimagination.cc/Magic3D/

开源时间:

发布时间：22.11

说明：3d 模型生成3d一般需要时间较长,资源较多

6.谷歌文本提示生成3D模型的DreamFusion

功能：文本生成3d

是否开源：

开源地址：

论文地址：

模型资料网址：https://dreamfusion3d.github.io/

开源时间:

发布时间：22.11

说明：声称不需要 3D 训练数据，也不需要修改图像扩散模型，证明了预训练图像扩散模型作为先验模型的有效性。

7.文本提示生成图片 disco-diffusion *****

功能：文本提示生成图

是否开源：是

开源地址：https://github.com/alembics/disco-diffusion

论文地址：

模型资料网址：https://dreamfusion3d.github.io/

开源时间:21.10

发布时间：21.10

说明：在github 找到的disco-diffusion，网上说google 要翻墙的免费的文本生成模型，这个不清楚是与google 的disco-diffusion 有没有关系，更新也比较快。

7.百度文本提示生成图片 文心一格 ERNIE-ViLG 2.0 模型 *****

功能：文本提示生成图

是否开源：是

开源地址：https://github.com/PaddlePaddle/PaddleHub/tree/develop/modules/image/text_to_image/ernie_vilg

模型参数量：120亿

Hugging Face 网址: https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG

模型参数说明：https://www.datalearner.com/ai-resources/pretrained-models/ernie-vilg2

论文地址：https://arxiv.org/abs/2210.15257

开源时间:22.10

发布时间：22.10

说明：具有文本生成图像和图像生成文本两种功能。效果远超 OpenAI 发布的 DALL-E 等模型。它是百度的方式，不是github 方式上面有模型的地址，目前不大明白？？？，使用需要请前往 文心旸谷社区 申请使用本模型所需的 API key 和 Secret Key，网址https://wenxin.baidu.com/user/key 这里申请。

5. midjourney文本生成图像

功能：文本提示生成图

是否开源：收费

网址：https://www.midjourney.com/