小说推文AI视频生成必备绘唐3工具推荐 绘唐3.0FT《用户文档》
技术要点
环境要求:
python: 3.10.6
GPU: 显存最低8G
文本处理
文本语义分析采用 清华大学开源的 chatGLM2-6B,当然本地部署也可以使用Meta开源的 Llama2-7B,但是这个中文的支持不太好。
音频生成
音频合成 我采用的是百度的 Baidu-tts, 当然如果你有条件最好使用微硬的tts,效果好很多。
图片生成
图片生成,没有其他可选项,就是开源的 stable diffution,目前市面上有2个webui,最流行的是B站秋叶的stable diffution webui
视频合成
1)视频合成使用python包moviepy
2)安装两个额外的软件: imagemagick 和 强大的 FFmpeg_Full.msi 👈