Datawhale X 魔搭 AI夏令营--AIGC Task2

Datawhale X 魔搭 AI夏令营–AIGC Task2

一般来说，AI生图模型属于多模态机器学习模型，通过海量的图库和文本描述的深度神经网络学习，最终的目标是可以根据输入的指示(不管是文本还是图片还是任何)生成符合语义的图片。AI生图模型获得图片生成能力主要是通过学习 图片描述以及 图片特征，尝试将这两者进行一一对应，存储在自己的记忆里。在我们需要的时候，通过输入的文字，复现出来对应的图片特征，从而生成了我们需要的图片。

过去文生图主要以 SD 系列基础模型为主，仅支持英文的prompt，但可图是支持中文的文生图模型，文生图的prompt格式较为固定，魔搭社区开源了专门的各种风格的可图优质咒语书，还可利用通义千问等AI语言模型的帮助。

通义千问的解答

1. !符号告诉 Jupyter Notebook 要运行一个外部命令而不是执行 Python 代码
2. pip install -e 命令安装一个包时，这是以开发模式安装该包。这种安装方式允许在不修改源代码的情况下直接编辑包中的代码，并且所做的更改会立即生效。使用 -e 选项时，pip 需要知道项目的根目录位置，即包含 setup.py 文件的目录。这是因为 setup.py 文件包含了包的元数据以及构建和安装所需的指令

尝试在win10笔记本部署运行

为理解项目的基础架构，并尝试摆脱对平台的依赖，尝试在自己win10笔记本部署运行

1. 在vscode上实现，使用通义灵码插件
2. 路径修改：ipynb文件/mnt/workspace/kolors/data==>./data
3. 安装data-juice失败，前往data-juice下载最新源码进行安装，根据data-juice要求，python版本要在3.8~3.10
4. pip安装时可以使用官方镜像源pip install --index-url https://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com package_name
5. 根据提示安装依赖库
6. 报错：fbgemm.dll依赖问题，解决
7. 不要直接使用pip的方式去直接下载torch安装，pip默认下载的CPU版本的torch，无法调用GPU，查看自己的显卡支持的CUDA版本并根据官网下载（选择最新CUDA版本可能与transforms不匹配，根据可图模型库的说明，选择了CUDA11.8）
8. OutOfMemoryError：显存不够，硬件需要升级

总结：软件环境部署成功，最后卡在硬件限制，待硬件升级后可以再试。在一步步执行和解决问题的过程中，我了解了各个工具以及各段代码在本项目中发挥的作用。要想学会，还得自己动手，在踩坑和解决的过程中更好地提升自我。

生成图片

1. 彩色铅笔艺术，中国女孩，坐在教室里，扎着羊角辫，专注地听着老师讲解，桌上摆着课本和文具盒
2. 彩色铅笔艺术，中国女孩，上半身趴在课桌上，羊角辫散落在一旁，似乎已经进入了梦乡
3. 彩色铅笔艺术，10岁中国女孩，站在自家门口，穿着简单的现代农村服饰，羊角辫轻轻飘动，手轻轻触碰着木制的大门，门前挂着两个红灯笼
4. 彩色铅笔艺术，10岁中国女孩，半蹲着迎接小狗，小狗欢快地冲向女孩，背景是简朴的农家小院，院子一角摆放着农具
5. 彩色铅笔艺术，10岁中国女孩，女孩与小狗在院子里嬉戏，女孩穿着简单的衣服，羊角辫随着动作轻盈摇晃，小狗围着她转圈
6. 彩色铅笔艺术，10岁中国女孩，女孩与小狗在广阔的田野上奔跑，远处是连绵起伏的山丘，女孩穿着现代农村的服饰，羊角辫随风舞动
7. 彩色铅笔艺术，中国女孩，女孩从梦中醒来，上半身倚靠在课桌上，她的眼神略显迷茫，羊角辫散乱，旁边是一本打开的课本
8. 彩色铅笔艺术，中国女孩，女孩坐在教室里继续学习，正认真地写着作业，羊角辫整齐地绑着，身边放着一些学习用品，如笔记本、笔袋等
9. 丑陋、变形、嘈杂、模糊、低对比度