随着AI 技术的飞速发展,AIGC(Artificial Intelligence Generated Content,生成式人工智能)在美术与设计领域有了重大突破。各类优质的AI 绘画作品与平台逐渐出现在大众的视野中,各大厂商也逐渐将AI 绘画引进自己的工作流程中,AIGC训练师的岗位也应运而生。
本文解密某大厂的AIGC训练师岗位的真实面试题,并附上解析,帮助大家更好的做好面试准备。
面试前的准备
一定要在C站(Civitai,全球最大AI绘画模型分享平台)上传一些成熟的模型作品,各种分类都要有,包括但不限于角色,画风,图标,场景,室内,摄影等等。下载量低不要紧,但一定要成熟。数量级至少要达到500到1000张图。没作品很难收到面试邀请。
薪资报价
一线城市12K到30K。其他城市6到12K。(大概率会996,请做好心理准备)
面试题解析
问:请简述一下你的模型训练流程。
千万不要直接回答:“我扔一堆图进去炼就完了”肯定翻车。标准答案如下:
1,与需求方对接,进行需求分析,并明确训练主体。
2,根据需求构建数据集(结合自己的作品描述)
3,数据标注,采用机器标注+人工优化的方式
4,使用少量数据进行训练测试
5,根据测试结果,去有需求则调整数据集和标注,没问题的话再开始正式训练
6,根据不同的设备环境和训练主体规划训练参数
7,开始训练
8,模型测试,首先搭配不同的大量提示词测试,然后搭配不同的其他模型测试,最终选出性能最好的
9,模型上线,搜集使用反馈,继续迭代
问:说下你的调参经验。
以sdxl,4090显卡举例,lora训练学习率需要相对调大,0.0012左右,批次可以开到5。大模型的学习率需要调小,4e-7时大约会在27000步时收敛。
(可以自行补充,选自己熟悉的有把握的说)
问:模型如何分层训练或者分层调优?
按《AI魔法绘画》书上那个分层的表来说就可以了,这个要背一下。
问:instant prompt和class promt有什么用?
class prompt指的是训练主体的类别,画风就填写style,人物就填写boy,girl等。
instant prompt需要填写对训练主体的描述。例如如果想训练一个自定义的水墨画画风,则填写inkpainting,这样在训练的过程中,就会调用底模型中默认的水墨画画风,在默认的基础上,训练你的自定义的水墨画画风。填写之前需要把这个单词用底模型测一下,看看底模型有没有,如果没有则可以填写相似的。假设底模型里没有inkpainting,则可以填写相似的watercolor painting。
问:假设在训练室内模型时,有一个大理石地板,死活炼不出来,怎么办?
首先调整标注。使用一个单词来标注你的这个大理石,这个单词首先需要在底模型中测一下,看底模型里有没有,如果没有,换成相似的,然后用少量数据进行反复测试。
问:如何把不同的图标炼进一个模型?
分类标注即可,每一种类型的图标设置一个唯一的标识符,这样就不会污染了,可以参考我C站发布的图标训练文档和数据集。
问:炼室内模型时如何解决变形?
假设桌子发生变形,变形的原因是图片素材中有不同类别的桌子,但是机器识别的都是desk,这样就导致不同类别的桌子互相干扰。这时需要对不同的桌子用不同的单词进行标注即可。
问:lcm,turbo等新技术
多关注,多折腾即可。
问:是否训练过大语言模型,controlnet模型等?
这个属于加分项,炼过更好,没炼过就直接说,没关系。
问:你在训练模型时遇到过什么困难?怎么解决的?
结合实际情况说,无标准答案。
补充内容
lora模型的分层设计包括17层,其中第一层是开关层,其余16层分别控制着LoRA模型中的人物背景、姿态和服装等元素。
这种分层控制的好处在于,当需要对某些元素进行调整时,如更改服装,可以通过简单地将相应层的权重调整为0,而不需要对整个模型进行大幅调整。此外,当使用多个LoRA模型进行叠加时,这种分层设计也能带来更好的效果,因为它允许用户分别控制不同方面的细节,如服饰、背景和脸部等,而不会因为模型的叠加导致人物形象的崩溃。这种灵活性使得LoRA模型在应用时更加高效和精确。
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
这份完整版的AI绘画(SD、comfyui、AI视频)整合包已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】