Datawhale AI夏令营第四期魔搭-AIGC文生图方向 Task01笔记分享

噫吁嚱string

已于 2024-08-09 21:03:13 修改

阅读量844

点赞数 14

文章标签：人工智能 AIGC 笔记

于 2024-08-09 21:02:04 首次发布

本文链接：https://blog.csdn.net/weixin_73063670/article/details/141052436

版权

目标：跑通baseline

第一步-搭建代码所需环境

第二步-报名赛事

第三步-在魔塔世界创建免费PAI实例(实例使用完后记得关闭哦)

第四步-使用阿里云免费算力

第五步-提交结果

第六步-美学分数

赛事链接：可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制

第一步-搭建代码所需环境

1.白嫖算力：

阿里云免费试用 - 阿里云 (aliyun.com)https://free.aliyun.com/?spm=5176.14066474.J_4683019720.1.8646754cugXKWo&scm=20140722.M_988563._.V_1&productCode=learn点击连接进入后，登录or注册(建议直接和支付宝绑定，更加方便快捷)

成功登录or注册后，继续进行下一步，“点塔”

继续“点塔”(成功申请到就可以直接跳转第四步哦)

如果出现以下情况，目前是由于每天使用量已达最大，可以第二天早早就申请哦

ok我们成功白嫖到算力，下一步进入魔塔的世界

我的Notebook · 魔搭社区 (modelscope.cn)https://www.modelscope.cn/my/mynotebook/authorization

第二步-报名赛事

可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制 (aliyun.com)https://tianchi.aliyun.com/competition/entrance/532254又双叒叕来“点塔”，进入后再来“点塔”

ok至此赛事报名就告一段落，下一步就开始创建实例跑代码

第三步-在魔塔世界创建免费PAI实例(实例使用完后记得关闭哦)

我的Notebook · 魔搭社区 (modelscope.cn)https://modelscope.cn/my/mynotebook/preset

点击启动后，让子弹飞一会儿......

然后来到环境下，首先我们需要在终端中git我们的baseline文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors.git

将代码复制粘贴到终端，回车运行即可：

因为已经运行过，所以需要大家亲自运行哦，运行完成后进行“双击它”，我们就会看到baseline的出现

在接下来的步骤中大家就可以依次按顺序(一定按顺序哦)点击“YES”就可以成功运行baseline了

这就是最终的结果了，一共八张图片哦

然后呢我们需要将notebook上生成的结果下载到本地上进行提交

mkdir /mnt/workspace/kolors/output & cd 
cp /mnt/workspace/kolors/models/lightning_logs/version_0/checkpoints/epoch\=0-step\=500.ckpt /mnt/workspace/kolors/output/
cp /mnt/workspace/kolors/1.jpg /mnt/workspace/kolors/output/

执行上述我们就会得到要提交的结果文件和jpg，然后下载到本地即可

下一步创建模型并提交

模型创建 · 魔搭社区 (modelscope.cn)https://www.modelscope.cn/models/create

其中步骤2的名称你喜欢就好，步骤3作者选择的是2.1，精度越高时间越长，建议选2.1，步骤4便是上传下载到本地的epoch=0-step=500.ckpt文件，步骤5是上传下载的图片作为模型的封面图

最后点击创建即可

第四步-使用阿里云免费算力

我的Notebook · 魔搭社区 (modelscope.cn)https://www.modelscope.cn/my/mynotebook/authorization进入界面后，选择个人云账号

由于我已经创建好实例，所以大家可以根据界面显示以此操作即可

第五步-提交结果

提交格式

可图Kolors-LoRA风格故事挑战赛 · 魔搭社区 (modelscope.cn)https://modelscope.cn/brand/view/Kolors?spm=a2c22.12281976.0.0.25381acb10aY7H&branch=0&tree=11点击进入讨论区开始进行发布

作者按照baseline进行了提交，要是八张图片哦，大家可以自由发挥想象不断提分哦

第六步-美学分数

按照要求，我们作品的美学分数需要达到6才是有效提交，因此我们需要运行官方给出的score代码进行核验

pip install simple-aesthetics-predictor

import torch, os
from PIL import Image
from transformers import CLIPProcessor
from aesthetics_predictor import AestheticsPredictorV2Linear
from modelscope import snapshot_download


model_id = snapshot_download('AI-ModelScope/aesthetics-predictor-v2-sac-logos-ava1-l14-linearMSE', cache_dir="models/")
predictor = AestheticsPredictorV2Linear.from_pretrained(model_id)
processor = CLIPProcessor.from_pretrained(model_id)
device = "cuda"
predictor = predictor.to(device)


def get_aesthetics_score(image):
    inputs = processor(images=image, return_tensors="pt")
    inputs = {k: v.to(device) for k, v in inputs.items()}
    with torch.no_grad():
        outputs = predictor(**inputs)
    prediction = outputs.logits
    return prediction.tolist()[0][0]


def evaluate(folder):
    scores = []
    for file_name in os.listdir(folder):
        if os.path.isfile(os.path.join(folder, file_name)):
            image = Image.open(os.path.join(folder, file_name))
            scores.append(get_aesthetics_score(image))
    if len(scores) == 0:
        return 0
    else:
        return sum(scores) / len(scores)


score = evaluate("./images")
print(score)