最近有朋友说,想转行ai赛道,做大模型之类的工作,不知道有哪些岗位。今天就来聊聊,AI大模型有哪些方向,新人怎么转行大模型赛道,让大家少走弯路,早日在AI领域如鱼得水!
其实,在招聘网站上搜搜 “大模型”,看看那些招聘要求,就能大概了解大模型工程师都有哪些方向了。主要分为下面这四类:
-
数据治理方向:大模型数据工程师,主要负责爬虫、数据清洗、ETL、Data Engine、Pipeline 这些工作。简单说,就是要把数据整理得妥妥当当,让模型能 “吃” 得好。
-
平台搭建方向:大模型平台工程师,负责分布式训练、大模型集群以及工程基建等。他们就像是大模型的 “建筑工人”,打造出能让模型高效运行的平台。
-
模型算法方向:大模型算法工程师,主要涉及搜、广、推、对话机器人、AIGC 这些领域。听起来是不是超酷,一听能做出很厉害的产品!
-
部署落地方向:大模型部署工程师,负责推理加速、跨平台、端智能、嵌入式这些工作。他们要确保模型能顺利在各种设备上运行起来。
下面分别对这四个方向的工作内容进行展开。
1、数据治理 —— 被轻视的宝藏领域
很多人可能觉得自己学了好多算法知识,再去做数据工作有点大材小用了。其实不然!对于很多转行大模型的同学来说,做数据可是更容易上岸的途径呢!
现在国外的大模型技术比国内领先不少,虽然国内有很多 “大模型”,但真正厉害的没几个。为啥呢?除了一些技术没突破,数据和工程技巧也很关键。
就拿数据来说,通用大模型训练的数据来源、采集、质量把控、有毒信息过滤、语言筛选与比例、去重和规范化处理,还有评测集构建,这些都是技术活,也是体力活。
在垂直领域,像金融、电商、法律、车企这些,数据构建更难了。业务数据从哪来?数据不够怎么办?怎么构建高质量微调数据?要是能把这些问题解决好,模型就成功一大半啦!所以现在有经验又有能力的数据工程师是比较稀缺的。
2、平台搭建——保障高性能计算
要是你以前是做工程的,或者对工程感兴趣,那大模型平台工程师这个方向很适合你。
这个方向其实就是为大模型业务服务的,打造大模型的基础设施,让模型训练得更好、跑得更快,有分布式计算、并行计算,总之就是保障高性能计算。
具体都做些啥呢?
-
硬件层面,要搞大模型训练集群,像 GPU 集群、CPU/GPU 混部集群,得管理好几百上千张卡,还要关注它们的利用率和健康状况。中小公司通常开发和运维都得干。
-
平台层面,要做 LLMOps,也就是 pipeline,把数据 IO、模型训练、预测、上线、监控都整合起来,跟着业务团队走,造些好用的工具,给业务团队省时间。
3、模型算法——传说中的算法工程师
好多小伙伴一看到大模型算法岗,可能立马就被吸引了,觉得能做出超厉害的产品,站在行业前沿。
但是,在 AI 这行,模型算法应用是很需要业务经验的。如果你本来就是做算法相关的,比如 NLP、语音助手或者对话机器人,那继续做这个方向的大模型算法工程师是合适的。
但如果你是 CS 方向的实习生、应届毕业生,或者其他 IT 行业转过来的,这不一定是最好的选择。
别以为大模型算法工程师就是调调模型、改改超参、做做预训练和 finetune 这些简单活儿。实际上,一个团队里干这些核心算法优化的没几个人,大部分新人进去都是先干些配环境、搭链路、清洗和分析数据、调研、写函数工具这些基础工作。
等这些干熟练了,才有可能跑些模型实验,表现好的同学才有机会接触线上业务。有些同学干了好几年,还在做些边角料的活儿,根本接触不到核心业务呢!
所以刚入行的小伙伴,如果学历背景好,可以去大公司实习争取转正;背景一般的话,去中小公司积累业务经验也是不错的。
4、部署落地——实现AI价值最后一公里
大模型部署主要有两个方向:云端部署和端侧部署。
-
云端部署,可以做推理加速平台,给特定模型做定制化加速,像 Qwen - 7b 的加速,也可以做大模型推理引擎,在高并发用户场景下,保证用户体验的同时优化延迟和吞吐量。
-
端侧部署,就是要在消费级 GPU/NPU 和边端设备上把模型部署好,还要让领域大模型小型化,实现工程落地。
这个岗位对工程、系统和硬件方面的能力都有要求,虽然现在有各种推理框架降低了点难度,但还是挺有挑战性的,不太建议新人直接做,可以先从平台方向入手,再慢慢转到部署方向。
最后,给新人的一些小建议
-
别光盯着 finetune、SFT、RLHF 这些,虽然系统学习是必要的,但不需要花太多精力哦。
-
想做应用方向的小伙伴,建议聚焦在某个垂直领域,比如对话机器人、问答系统,或者金融、医疗、教育这些方向,选一个具体场景好好做,做深做透。
-
一定要多关注数据,像 data pipeline,高质量训练 / 测试集的构建经验,还有对数据的敏感度,这些在未来工作中非常有用。
-
记住,大模型不只有算法,工程也很重要。大公司都在拼基建,好的平台对业务支撑作用可大了,是大模型产品成功的关键因素!
零基础如何学习AI大模型
领取方式在文末
为什么要学习大模型?
学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术,如自然语言处理和图像识别,正在推动着人工智能的新发展阶段。通过学习大模型课程,可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术,从而提升自己在数据处理、分析和决策制定方面的能力。此外,大模型技术在多个行业中的应用日益增加,掌握这一技术将有助于提高就业竞争力,并为未来的创新创业提供坚实的基础。
大模型典型应用场景
①AI+教育:智能教学助手和自动评分系统使个性化教育成为可能。通过AI分析学生的学习数据,提供量身定制的学习方案,提高学习效果。
②AI+医疗:智能诊断系统和个性化医疗方案让医疗服务更加精准高效。AI可以分析医学影像,辅助医生进行早期诊断,同时根据患者数据制定个性化治疗方案。
③AI+金融:智能投顾和风险管理系统帮助投资者做出更明智的决策,并实时监控金融市场,识别潜在风险。
④AI+制造:智能制造和自动化工厂提高了生产效率和质量。通过AI技术,工厂可以实现设备预测性维护,减少停机时间。
…
这些案例表明,学习大模型课程不仅能够提升个人技能,还能为企业带来实际效益,推动行业创新发展。
学习资料领取
如果你对大模型感兴趣,可以看看我整合并且整理成了一份AI大模型资料包,需要的小伙伴文末免费领取哦,无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发
AI大模型学习路线
如果你对AI大模型入门感兴趣,那么你需要的话可以点击这里大模型重磅福利:入门进阶全套104G学习资源包免费分享!
扫描下方csdn官方合作二维码获取哦!
这是一份大模型从零基础到进阶的学习路线大纲全览,小伙伴们记得点个收藏!
第一阶段: 从大模型系统设计入手,讲解大模型的主要方法;
第二阶段: 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用;
第三阶段: 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统;
第四阶段: 大模型知识库应用开发以LangChain框架为例,构建物流行业咨询智能问答系统;
第五阶段: 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型;
第六阶段: 以SD多模态大模型为主,搭建了文生图小程序案例;
第七阶段: 以大模型平台应用与开发为主,通过星火大模型,文心大模型等成熟大模型构建大模型行业应用。
100套AI大模型商业化落地方案
大模型全套视频教程
200本大模型PDF书籍
👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;
• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;
• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;
• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习框架等技术,这些技术的掌握可以提高程序员的编码能力和分析能力,让程序员更加熟练地编写高质量的代码。
LLM面试题合集
大模型产品经理资源合集
大模型项目实战合集
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓