给想玩AIGC的小白:教你从0搭一个图文视频生成网站(附插件&源码)

89a13b493ba35301ec1d6c1df92ea18a.png

74221746cc9c5adb41e1e0f88fb62556.gif

👉腾小云导读

Stable Diffusion的发布是AI图像生成发展过程中的一个里程碑,相当于给大众提供了一个可用的高性能模型,让「AI 文本图片生成」变成普通人也能玩转的技术。最近一些网友将网上的真人图片不断喂给模型,让其自主学习,训练出来的效果已经可以做到以假乱真——你甚至不知道哪些图片是 AI 生成的还是真人拍出来的。你感兴趣吗?今天这篇文章从零开始,手把手教你如何搭建自己的真人 AI 网站。强烈建议收藏(不管是否吃灰)。

👉看目录,点收藏

1. 搭建你自己的 AI 网站

2. 模型下载

3. 汉化插件下载

4. 生成你的真人图片

     4.1 生成真人图片

     4.2 不同风格图片生成

     4.3 动画视频生成

5. 让你生成的图片开口说话

01

搭建你自己的AI网站

本篇我们将单刀直入教各位最快搭建出一个质量不错的 AI 网站,如果各位想了解相关的原理、技术点,可以留言告诉我们。下文会提及的模型、插件和源码,我们也一并提前为各位整理~点击下方公众号卡片,进入回复「AI网站」即可领取。

第一步,我们可以直接使用 GitHub 仓库:

stable-diffusion-webui。

f482de0e3ddbe13fa06a815889506bbf.png

首先,在电脑上安装 python 3.10.6,如果已经安装了其他 python 版本,可以利用 conda 安装多一个 3.10 的虚拟环境版本:

conda create -n novelai python==3.10.6

接下来下载该仓库的代码:

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui

再安装对应的 GPU 版本的 Pytorch,直接进入网站:

https://pytorch.org/get-started/locally/,复制对应的命令。

b06b1a4ddce293ed95f2ff39d93232d7.png

进入刚刚创建的虚拟环境”novelai“:

87ae61523b45a55690f814b9e763e519.png

执行刚刚的命令:

./python -m pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu116

安装成功后,可以测试自己的 pytorch 版本是否可以跑通。

7db85f14be80adbc401ebb06ac43873c.png

进入刚刚下载的 Github 仓库的代码文件夹,安装第三方依赖:

python -m pip install -r requirements.txt







02


模型下载

有了网站之后,就需要下载对应的 AI 模型进行有效生成。一些网友已经利用网上大量的图片训练好的模型,并分享到网站上。我们举个例子:

https://civitai.com/

这个大名鼎鼎的网站被人们称为「C 站」,里面有很多你意想不到的模型。

1592ed7955f62a0ec4905ec284d61a1c.png

可以在这个网站上找到很多已经训练好的模型。例如找一个生成真人图片的模型:ChilloutMix。从网页上下载对应的模型后,把该模型放到工程目录:models/Stable-diffusion。

6289a82fdafd9c886e7ce93abd15eb25.png

2a273843f977524bc4fa1ab99d485ee8.png


03

汉化插件下载

stable-diffusion-webui 这个项目还支持下载第三方插件。例如我们可以下载对应的汉化插件。其下载地址如下:

https://github.com/dtlnor/stable-diffusion-webui-localization-zh_CN

登陆上面网站后,就可以下载插件的安装包:

3f6bfd101b7f9af9e8e2bae7aee3fa4b.png

然后将文件解压放到 extensions 目录下:

cf4403b64d2d55a6fb3fe7566babaeec.png

接着,就需要对网页进行重启服务:

906d62e06d45686575823883af727f2b.png

在扩展这里,把插件勾上:

2362111a156a3d9162225ada48cd993f.png

在“设置”选项里,找到 zh_CN,最后需要重新启动网页,就可以生效了:

35573f70d42d68188657426a7053f3df.png

3a673d5c3333f591f6beda3667ac0e43.png

04

生成你的真人图片

启动主程序"launch.py",等待一定的时间出现网页地址就可以了。

c7d8ac2fd1f0b95aa511016fa8c23fa9.png

打开网址时,有时候可能模型没有更新。因此可以尝试一下多次重启。需要选择刚刚下载的模型:ChilloutMix。

a225c66c665082baf49c7e78f9b147ac.png

这样就已经完成前期的部署工作了。接下来详细教大家怎么生成自己想要的图片。

   4.1 生成真人图片

在c站上,已经有很多大神利用 promt 生成图片了,因此我们就可以对这些进行参考。例如找一个好看的图片,对下面的 Prompt 词语进行复制:

b7fd8b37e7f620cae8fb933e1e608e2b.png

其中 Prompt 词语放在提示词框内,消极 Prompt 词语放在对应的方框内。同时调整对应的参数,最后就可以生成真人图片:

4a88c3df3e2d5edc6bce52112ef4265c.png


  4.2 不同风格图片生成

在 C 站上,还有很多 Lora 模型可以进行下载。这是一种可以帮助你调整画风的小模型。主要是放到 Prompt 中进行使用。例如我们可以在网站上下载原神的 Lora 模型:

ef0f8e723bb8bc5ded4337d0046fc467.png

‍下载完成后,把模型放到 models/Lora 路径下:

e72fd320cb49a5d92ed55e721fc6da79.png

按照图片下的步骤,选中模型后,会看到具体的 Prompt 在方框内了:

3ebfcecf843af0c4fafd6a10acedec6e.png

把步骤 4.1 中的 Prompt 词语加入到这里,就可以生成一个原神风格的图片:

a8556f0e9c2c357b81e846e39ca52260.png


  4.3 动画视频生成

首先需要安装插件**“deforum”**,这个插件能够根据多个生成的图片构造成视频动画。

https://github.com/deforum-art/deforum-for-automatic1111-webui

在当前 stable-diffusion 目录下,执行下面命令,就会发现 extensions 多了新的插件:

git clone https://github.com/deforum-art/deforum-for-automatic1111-webui extensions/deforum

6351d0484b421a00540d741af03aed88.png

同时重启新的网页,会发现多了 deforum 这个选项:

3c3ad8ed968685a311312c8340405b4b.png

可以先执行简单的生成,在提示词上,已经默认填写了语句:

 
 
{
    "0": "tiny cute swamp bunny, highly detailed, intricate, ultra hd, sharp photo, crepuscular rays, in focus, by tomasz alen kopera",
    "30": "anthropomorphic clean cat, surrounded by fractals, epic angle and pose, symmetrical, 3d, depth of field, ruan jia and fenghua zhong",
    "60": "a beautiful coconut --neg photo, realistic",
    "90": "a beautiful durian, trending on Artstation"
}

最后生成出来的视频如下:

84874843853a41038f3bf701e227d8da.gif

Prompt 词语模板解释如下:

//Abstracted Example
{
    "0": "Prompt A --neg NegPompt"
    "12": "Prompt B" 
}

其中“0”和“12”提示在插值中解析的关键帧。Prompt A 和 B 是肯定提示,NegPrompt 是否定提示。当然,也可以直接用上面 C 站下载下来的模型,生成真人动画。

1be35529e12135821ccb0b000ae16010.gif


05

让你生成的图片开口说话

从上面我们已经得到了生成的图片。那么就可以利用这张图片,创建自己的 AI 说话视频。登陆这个网址:

https://studio.d-id.com/

a2580cca1940ddf3be19c093f5213045.png

选择刚刚生成的图片,然后输入自己想要说的话,之后生成就可以了:

3146ce608ef8b6eb5648ba846912c26d.png

最后就可以得到比较逼真的真人 AI 说话视频了。

7764323832334c1816144531692fa6fd.gif

有了这个技术,就可以批量制作二次元甚至是真人说话视频。这对于 AICG 这个行业是一个颠覆性的技术,相信未来这个技术在多个领域上都能够推广开来。点下方卡片进入公众号,在后台回复「AI网站」,即可0门槛领取本文所述模型、插件和源码。快来展示你的搭建成果吧~

以上是本次分享全部内容,欢迎大家在评论区分享交流。如果觉得内容有用,欢迎转发~

-End-

原创作者|李洛勤

技术责编|李洛勤

09c5fab4277b4c4c4f43c07b71d492df.png

最近无论是火爆的 GPT 智能文本生成模型,还是Diffusion Model(GLIDE、DALLE2、Imagen等)智能图片生成模型,AIGC领域给人惊喜不断。它使用深度学习算法,从大量的数据中学习模式,以创建高质量的文本、音频、图像和视频。在《这波可以,终于有内行人把 GPT-4 说透了》《TVP专家夜聊:不用ChatGPT的开发都该被炒掉》两篇中,我们探讨了「GPT们」的发展对程序员的影响——会取代程序员吗?各位程序员朋友们给出了精彩的回答:

9c1950b67f840ab834988c08ad61c6a5.png

8950a16f0ecf3759bb66aa444b84fd45.png

c942579087f88276ac6228696eee5b9f.png

b367cd57d5f78f74ada7b2344784387a.png

AIGC深度学习模型不断完善、开源模式的推动、大模型探索商业化的可能,成为让其发展的加速度。总体来说,我们看到了AIGC在未来更可能是与人类合作的模式。人类可以借助AI技术进行创作和生产,提高生产效率和质量。

b5d7a213e91ee336a0fab2faab4e3e3f.png

“你还能想到AIGC什么应用方式?ta还能帮助程序员做什么?“

欢迎在评论区聊一聊你的看法。在4月12日前将你的评论记录截图,发送给腾讯云开发者公众号后台,可领取腾讯云「开发者春季限定红包封面」一个,数量有限先到先得😄。我们还将选取点赞量最高的1位朋友,送出腾讯QQ公仔1个。4月12日中午12点开奖。快邀请你的开发者朋友们一起来参与吧!

9fcdeae0d9b88c3b173af269651ac1bd.png

a47fe50f055053cfb878bae322b815a2.png

ef6fdbbd9db925f17f4d0b8712431288.png

9d832ebad0d75d0c00e3c8a5429bd3f2.png

关注公众号并点亮星标 不错过更多鹅厂学习资源

回复「AI网站」,领取本文模型、插件和源码

8fc9a8d1b91a71f76bb9a55c82581013.gif

  • 5
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值