首先我们是业务部门不是大模型基座。业务大模型岗位我们核心考察两个点,一个是基础知识,一个是项目,两个点都是必须项,大模型没有实践基本上很难入门。对于这两个点,我们期望你有的知识储备如下。
1. 大模型基础知识
▪ transformer结构,包括multi head,gqa,位置编码,归一化等。
▪ 多种模型的区别,llama,qwen,百川等,问过很多人,清楚的不多。
▪ 训练,核心是对齐模块,rlhf,dpo,kto这些典型的对齐技术一定要了解
▪ 微调,核心就是lora,这个基本上必须要会,做应用基本上就是调这个。
▪ prompt工程,核心要素包括啥,给定一些实际的任务,说一下大体的思路。有一个survey文章可以去看看。
▪ 训练基础,比如,过拟合怎么发现和解决,你用过的微调框架的知识,比如llamafactory,batchsize怎么计算的?lora参数怎么调整,不同的业务适合什么类型的参数,这个就是看你有没有训练过。
▪ 加速框架大致原理,比如vllm,llamacpp等,大致原理是什么,每个都适合哪些场景?
2. 项目经历
这个一定得有,没有感觉没法面,基本上大模型没有项目,算法工程师就不要投了,如果只做过prompt的项目感觉也别投,大模型没有训练项目感觉都不算入门。prompt工程在企业里,现在很多产品、运营、工程都已经贼溜了,所以这玩意没有任何壁垒!!!!
必须要写大模型微调经历,但是大模型微调又太简单,只要做过的人都知道,大模型微调真的是没啥太多技术含量,除非你做了大模型基座的研发。那怎么写?
核心是业务+数据。
• 业务
业务描述不要记流水账,切记!业务介绍要从以下几个方面来写:
▪ 业务背景,描述清楚你所做的事情,包括业务目标,业务特点,最好给个例子,越简介越通俗易懂越好。
▪ 业务实现大体路径,怎么做的,这个可以简介点。
▪ 业务难点,这个最重要,这个是可以体现你对业务的思考和真的参与的点。很多同学都是流水账的工作,以上线为目标,上线即结束,所以感觉事情都很简单,没啥写的。但是真的在业务场景里,会有很多坑,这个得想清楚,这个难点你准备好,到时候直接引导面试官聊。
▪ 难点解决方案,最好有两个以上版本迭代。先是怎么做的,发现啥问题,于是用了另外一个方法,为什么要用这个方法,这个方法的难点在哪里,这个一定要认认真真的准备!!!面试官大概率会根据你真的做的深的点深挖,只要你好好准备,基本上就能拿捏住对方。
• 数据
其实大模型业务里的难点基本上都是数据问题,数据基本上代表了你对业务的理解,在我做的经验里数据真的是很难且可以做出创新点的,比如
▪ 数据筛选,去重、均匀化采样等,这个均匀采样对于不同的业务可不一样,比如产品分布,问题难易度分布,正负样本分布等。这里数据筛选都有可能训练几个模型,比如用embedding聚类分析等,至少我们真的是这样。
▪ 数据生成,怎么让大模型自动化的生成高质量的数据,这个很多工作,大家可以去读读论文,找一些前沿的方法,比如角色扮演的,社区扮演等等。
▪ 数据检索构建,比如graphrag等。
以上数据难点中,你在你项目中找到一个应用点,好好写,把这个点当下的相关论文读一遍,好好准备一下,一般都能吸引住面试官。
最后难点不用太多,准备一两个足矣。项目也不用太多,一个校招生能做多少东西?只要你在一个工作中做的挺好,那就稳了!
大模型岗位需求
大模型时代,企业对人才的需求变了,AIGC相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37336元,大模型算法薪资平均值约39607元。
掌握大模型技术你还能拥有更多可能性:
• 成为一名全栈大模型工程师,包括Prompt,LangChain,LoRA等技术开发、运营、产品等方向全栈工程;
• 能够拥有模型二次训练和微调能力,带领大家完成智能对话、文生图等热门应用;
• 薪资上浮10%-20%,覆盖更多高薪岗位,这是一个高需求、高待遇的热门方向和领域;
• 更优质的项目可以为未来创新创业提供基石。
可能大家都想学习AI大模型技术,也想通过这项技能真正达到升职加薪,就业或是副业的目的,但是不知道该如何开始学习,因为网上的资料太多太杂乱了,如果不能系统的学习就相当于是白学。为了让大家少走弯路,少碰壁,这里我直接把全套AI技术和大模型入门资料、操作变现玩法都打包整理好,希望能够真正帮助到大家。
读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用
零基础入门AI大模型
今天贴心为大家准备好了一系列AI大模型资源,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
有需要的小伙伴,可以点击下方链接免费领取【保证100%免费
】
1.学习路线图
如果大家想领取完整的学习路线及大模型学习资料包,可以扫下方二维码获取
👉2.大模型配套视频👈
很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。(篇幅有限,仅展示部分)
大模型教程
👉3.大模型经典学习电子书👈
随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(篇幅有限,仅展示部分,公众号内领取)
电子书
👉4.大模型面试题&答案👈
截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(篇幅有限,仅展示部分,公众号内领取)
大模型面试
**因篇幅有限,仅展示部分资料,**有需要的小伙伴,可以点击下方链接免费领取【保证100%免费
】
**或扫描下方二维码领取 **