Datawhale X 魔搭 AI夏令营Day02

一、打卡

Docs

第二天是精读代码，实战进阶

二、补充学习

1、AI生图前沿

自从ChatGPT等自然语言处理模型引发广泛关注以来，AI生图技术也得到了迅猛发展。这种技术利用深度学习模型，特别是生成对抗网络（GANs）、变分自编码器（VAEs）等架构，能够根据文本描述或其他输入生成高质量的图像。

(1)、关键技术

• 生成对抗网络 (GANs)：GANs 是一种由两个神经网络组成的系统，一个是生成器（Generator），另一个是判别器（Discriminator）。生成器负责创建图像，而判别器则尝试判断生成的图像是否真实。通过这种竞争机制，生成器不断改进其生成图像的质量。
• 变分自编码器 (VAEs)：VAEs 是一种能够学习数据潜在空间分布的模型，可以用来生成新的图像样本。
• 扩散模型 (Diffusion Models)：这类模型通过逐步添加噪声到数据中，然后训练模型去除这些噪声，最终生成图像。

(2)、应用案例

• Midjourney 和 StableDiffusion：这些是国外领先的AI设计工具，能够帮助用户根据简单的提示生成复杂的图像。
• 无忧秘书智脑：这是一种基于AI的人工智能文生图功能，能够根据文本描述生成相应的图像。
• 魔法抠图大师：这是一款集成了AI技术的图片编辑软件，可以自动进行图片生成和编辑。
• Stable Diffusion 3：这是即将开源的最新版本，预计将对AI生图领域产生重大影响。

(3)、前沿进展

• 开源与闭源：随着Stable Diffusion 3的开源，更多开发者和研究人员能够参与到AI生图技术的研究和开发中，推动技术进步。
• 技术创新：新技术如MMDiT架构等正在改变AI生图的技术格局，使得生成的图像更加逼真且多样化。
• 伦理和社会：随着AI生图技术的普及，相关的伦理问题和社会影响也日益受到重视，比如隐私保护、版权问题以及对传统艺术的影响等。

AI生图技术可以用于多种目的，比如：创造艺术作品、生成逼真的场景或人物图像、修复老照片、创建虚拟角色......

2、Deepfake技术

在今日学习中让大家警惕Deepfake技术，那么什么是Deepfake呢？

Deepfake（深度伪造）技术是一种使用深度学习和人工智能方法来合成或操纵视频、音频或图像的技术，使之呈现出与原始内容不同的效果，但看起来却非常真实。这项技术可以用来创建几乎无法分辨真假的伪造内容，包括但不限于：

1. 人脸交换：将一个人的脸部替换到另一个人的身体上，使得目标人物看起来像是在执行视频中的动作。
2. 语音模仿：模拟某人的声音，使之说出从未说过的话。
3. 虚拟形象生成：创造完全虚构的人物，使他们看起来像真实存在的人。
4. 内容修改：改变视频中的背景、动作或其他细节，以改变其含义或情境。

日常大家一定要仔细辨别Deepfake，谨防上当受骗

3、通义千问

最初只是在手机端下载小千，用来解决日常写报告感想之类，充当一个百科助手。电脑上用的chatgpt国内免费的网页限额版，一天也就十几条的样子，谷歌上的国外版也有，因为不愿意花钱买猫加速，非常慢（是clash）。小千不要钱，蛮好用的。

猫电脑端这样用：

变成这个颜色就对了，关电脑前要把这个系统代理给去掉。

AI嘛一个两个不嫌少三个四个不嫌多，总之小千值得一用。

今天的文生图需要使用通义千问

1、询问通义

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧
话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片
1、女主正在上课
2、开始睡着了
3、进入梦乡，梦到自己站在路旁
4、王子骑马而来
5、两人相谈甚欢
6、一起坐在马背上
7、下课了，梦醒了
8、又回到了学习生活中

生图提示词要求
1、风格为古风
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子：
古风，水墨画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，红色长裙

自己在通义的返回的基础上，多多调整，争取打磨出一个最佳的提示词，不想修改的话画出来也蛮好看了，记得加上反向提示词

2、执行Task1的30分钟速通Baseline

Docs

3、提示词修改

4、结果展示

4、scepter webui

1、浅尝功能

魔搭体验网址：https://www.modelscope.cn/studios/iic/scepter_studio

2、官方概念

SCEPTER 是一个开源代码仓库，致力于生成式训练、微调和推理，涵盖了诸如图像生成、转换和编辑等一系列下游任务。SCEPTER 集成了来自社区的流行实现以及阿里巴巴集团通义实验室的专有方法，为研究人员和从业者提供了一个全面的工具包。这个多功能的库旨在促进创新并加速生成模型这一快速发展的领域的开发工作。

具体代码学习今日文档里面有，无需赘述​​​，以上就是我第二天学习笔记。