2024增量市场——AIGC，普通人如何入局？

• Look！👀我们的大模型商业化落地产品
• 📖更多AI资讯请👉🏾关注
• Free三天集训营助教在线为您火热答疑👩🏼‍🏫

AI是否真的会取代你的工作，或者是掌握AI技能的人将会取代你？随着2023年AI技术的爆炸式增长，许多人开始质疑，如果不掌握如ChatGPT、Midjourney或Stable Diffusion等AI工具，是否就意味着被时代淘汰？进一步地，如何自主训练AI大模型、开发自己的AI产品？这些疑惑在许多人心中盘旋。今天，我们将一起探索这些问题的答案。
想要成为一名AIGC（人工智能生成内容）大模型工程师，究竟需要哪些系统性的知识和技能呢？毕竟，这是一个跨学科的领域，既包含了机器学习和自然语言处理，也涉及到软件工程等多个重要方面。接下来，让我们一步步揭开由浅入深的知识体系框架，是否准备好开始这段探索之旅了呢？

第一阶段A1
你可以构建提示词来解决具体应用问题，大模型应用阶段，使用闭源商业大模型例如：文心一言、星火大模型、ChatGPT

投入：各种AIGCSaaS软件的订阅，例如：GPT 4 20美元/月

知识储备： 大模型提示（prompt）工程、Stable Diffusion
应用场景举例：用ChatGPT做网文作者、用MJ或者SD来做图片生成和视频产出
但实际上这并不具有太大的知识壁垒，我们可以使用AI工具、提示词优化的方式解决某些问题，而这离成为一个大模型工程师还有一段距离。

第二阶段A2
你可以通过程序调用闭源大模型API，将针对应用撰写的提示词封装到已有的系统中，借助闭源大模型的能力，在现有软系统上实现功能扩展或构建新的应用
投入：API费用，例如gpt-3.5-turbo-1106 输入费用：$0.0010 / 1K tokens

知识储备： Python基础、大模型prompt应用及API、Plugins调用、大模型编程、大语言模型发展历程

应用场景举例：聊天机器人，利用闭源大模型API，如ChatGPT、文心一言等，来实现自然语言理解和生成的功能。基于用户输入的Prompt，机器人能够生成合适的回应。

实践项目：聊天机器人：利用闭源大模型API，如ChatGPT、文心一言等，来实现自然语言理解和生成的功能。
基于用户输入的Prompt，机器人能够生成合适的回应。
岗位：提示词工程师

第三阶段A3
你能够针对大模型在已有提示词上的性能表现不足的问题，构建面向任务的指令训练语料，对大模型进行有监督的指令微调，提升大模型在应用上的性能。
算力要求：开源: 1-100块A100，例如 微软云Azure A100 80GB 单卡 30元/小时
显卡价格 A100 74000元/张
API费用，例如：gpt-3.5-turbo 训练费用：$0.0080 / 1K tokens

知识储备：大模型训练流程及主流模型对比、大模型开发工具、大模型Finetune技术、Finetune实践、思维链COT

应用场景举例：R语言数据处理辅助工具Rtutor，在2023年11月9号前RTutor的底层模型都是针对R语言编程能力微调过得Davinci model，RTutor利用经过微调的模型来辅助进行数据分析，能够解释数据分析结果，并提供数据可视化的建议。
岗位：AI应用工程师
实践项目：医疗记录助手：本项目致力于通过对大模型进行微调，开发一个医疗记录助手，专门辅助处理和管理医疗文档。这一医疗记录助手的主要功能包括对医疗文件的分类、回应咨询、提取关键信息，以及自动生成和编辑医疗文档等。其最终目标是创建一个高效、准确且可信赖的医疗文档处理助手，能够处理各种医疗文书相关任务，显著提升医疗文档处理的效率和质量。该助手的核心价值在于帮助医疗专业人员和相关用户更有效地管理医疗记录，提高工作效率和沟通效果，减少人力资源投入，并提升医疗文档处理的专业性和准确性。

第四阶段A4
你能够根据应用需求，借助langchian等大模型应用框架，通过集成领域或场景专业知识、调用智能体等，扩展大模型能力，构建专业的智能问答系统、知识检索系统或多智能体集成系统。
算力要求：1-100块A100（微调需求），显卡服务器租用例如微软云Azure A100 150000元/月、OpenAI Assistants API Retrival费用：$0.20 每GB

知识储备：大模型RAG LangChain、SK拆解、AutoGen原理以及实战

应用举例：以近屿智能的L5级别AI面试官，AI得贤招聘官的多轮对话能力为例：
以前，AI面试官是单向的，只能是AI面试官询问候选人问题，而候选人无法向AI面试官提问。而现在，L5级别的AI面试官已经具备多轮对话的能力。候选人可以随心所欲地向AI面试官提问，Al面试官也能够给予准确的回答，帮助候选人更好地了解雇主品牌和职位信息。这一改进增加了AI面试过程中的互动性和沟通效率。
岗位：AI大模型工程师

第五阶段 A5
针对开源大模型原有基座专业能力不足等问题，在已有的预训练框架下，组织领域相关预训练语料、原有或扩展的指令训练语料等，完成对模型底座的增量预训练、指令训练等任务实现对模型底座的能力扩展。
算力要求：开源：100块到1000块A100起，例如：显卡服务器租用，腾讯云 A100 40GB 单卡 16000元/月
项目：

第六阶段 A6
能够训练高级大模型基座，设置大模型的全量微调或增量微调、Lora微调等大模型预训练策略，搭配Deep Speed加速框架，选择和修改预训练模型，增加特定领域的Token做预训练或增量预训练（比如，在Llama2的基础上做增量预训练，得到Chinese-Llama2）
完全从基座开始独立训练，可以保证每一条投入基座训练的数据都是符合中国法律要求的，不会有违反中国法律要求的数据污染基座，这样从源头保证模型的输出不会出现任何不当的言论。国央企客户通常需要这样的基座作为基础训练行业或者企业级大模型。
算力要求：开源：1000块A100起，通常要7000块A100起，例如：显卡服务器租用，腾讯云 A100 40GB 单卡 16000元/月

第七阶段 A7
能够针对不同的领域或应用问题，研究优化Transformer结构、预训练大模型架构，开发新的大语言模型或多模态大模型，能够提出或改进大模型预训练、指令训练、强化学习阶段的模型架构，提出新的模型解决方案。
算力要求：开源：1000块A100起，通常要7000块A100起，显卡服务器租用：腾讯云 A100 40GB 单卡 16000元/月

更多详情请戳下方OJAC近屿智能的AIGC大模型工程师和产品经理学习路径图