为什么写这篇文章?
现在不学大模型,小心刚毕业的大学生带着大模型把你卷失业。
在科技发展的浪潮中,我深度体验了不少大模型产品,切实感受到了这一代的 AI 产品与上一代相比发生了翻天覆地的变化,这种变化不仅仅是性能上的提升,更是一种质的飞跃。就拿自然语言处理领域来说,大模型的出现让机器对人类语言的理解和生成达到了一个新的高度。比如以前的智能客服,回答问题往往比较生硬、机械,而且对于一些复杂的问题经常答非所问,但现在基于大模型的智能客服,能够更加准确地理解用户的问题,并给出更加贴切、详细的回答。这让我深刻认识到,AI 技术正在迎来一个新的时代。未来十年,AI 极有可能成为科技创新的最大源头,它将对我们的生活、工作、学习等各个方面产生深远的影响。在阅读本文之前,我建议您先花几个小时深度使用一下字节豆包 App,这样能更好地理解我接下来要讲的内容哦。
什么是大模型?
要理解大模型,我们先来看看什么是语言模型。简单来说,语言模型就是一种根据语言客观事实而进行的语言抽象数学建模,是一种对应关系。它的核心任务是根据已出现的文本预测下一个词出现的概率。想象一下,当你在手机或电脑上输入文字时,输入法会自动给出一些候选词,这背后其实就是语言模型在起作用。比如,当你输入“今天天气很”,语言模型会根据大量的文本数据学习到的知识,预测下一个词可能是“好”“晴朗”“糟糕”等,每个词出现的概率会有所不同。当我们持续运用这种预测方式往后推进,就能得到一句话、一个段落甚至是一整篇文章。
为了让大家更好地理解,我们举个例子。假如我们有这样一个开头:“在森林里,小动物们正在举行一场欢快的派对,兔子在……”,语言模型会根据已有的“在森林里”“小动物们”“欢快的派对”“兔子在”这些信息,结合它从大量文本中学习到的关于森林、动物派对以及兔子行为的知识,预测兔子接下来可能在“跳舞”“唱歌”“玩耍”等。如果我们再给一个开头“在学校的图书馆里,学生们正在安静地学习,小明在……”,那么语言模型预测的内容就会完全不同,可能是“看书”“做笔记”“思考问题”等,因为“学校的图书馆”“安静地学习”这些背景信息与“森林里的派对”是截然不同的,语言模型会根据不同的上下文信息给出不同的预测结果。
为什么这代大模型比之前的效果好这么多?
这就要提到随着算力和技术的进步,语言模型发生的巨大变化。在早期,人们是通过统计的方法来做语言模型的。这种方法只能根据前面一两个词来预测下一个词,预测能力非常有限。就像一个刚开始学习语言的孩子,只能根据最直接的信息去猜测下一个词,很难理解更复杂的语言结构和语义关系。例如,对于“我喜欢吃___”这样的句子,统计方法可能只能根据有限的样本数据得出“苹果”“香蕉”等常见的食物作为下一个词的预测,但对于一些不太常见的食物或者根据具体情境应该出现的食物,就很难准确预测了。
后来,深度学习出现了,情况有所改善,可以利用几十个到几百个词来预测,这就像是孩子的语言能力有了一定的提升,能够根据一小段话的信息来理解和猜测下一个词,但仍然存在局限性。比如在理解一篇稍微复杂一些的文章时,可能会因为能够参考的上下文信息不够多,而出现理解不准确的情况。
而现在的大模型可不得了,它能够使用前面几万到几十万个词。这种量变就像滚雪球一样引发了一系列的质变。一方面,大模型能够更全面地理解文本的语义和语境。例如,当我们问大模型“为什么《红楼梦》是一部伟大的文学作品?”,它可以综合分析《红楼梦》中复杂的人物关系、情节发展、社会背景等多个方面的信息,给出一个较为深入、全面的回答,而不是像以前的模型那样只能给出一些简单、片面的观点。另一方面,大模型在处理长文本时的能力大大增强。比如在处理长篇小说的文本分析、复杂的技术文档解读等任务时,能够更好地把握整体的逻辑结构和关键信息,为用户提供更准确、更有价值的信息。
再举个例子,以前的聊天机器人在对话过程中,经常会出现前后逻辑不连贯、回答不相关的情况。比如用户问“我刚刚看了一部电影,里面的主角经历了很多困难,你知道类似的电影有哪些吗?”,以前的聊天机器人可能会因为无法充分理解用户所说的“主角经历很多困难”这个关键信息,而给出一些不相关的电影推荐。但现在的大模型聊天机器人,能够更好地理解用户的问题,根据大量的电影数据和对电影情节的理解,给出一些真正符合用户需求的电影推荐,比如《肖申克的救赎》《阿甘正传》等主角经历了重重困难最终获得成功的电影。
大模型是如何解决胡说八道和放弃治疗的?
以前的对话机器人在遇到不会的问题时,常常会出现两种糟糕的情况:要么胡说八道给出一些莫名其妙的答案,要么直接说“我也不知道”就放弃回答了。不过现在有了新的解决办法。我们可以利用特定领域的数据对大模型进行调优增强,这里主要有两种方法。
第一种是 SFT(监督微调),简单来说,就是把特定领域的数据喂给大模型,让大模型像人学习知识一样把这些知识内化。比如在医学领域,我们可以将大量的医学文献、病例数据等喂给大模型,让它学习医学知识。这样当用户询问一些关于疾病诊断、治疗方案等方面的问题时,大模型就能够根据所学的医学知识给出相对准确的回答。再比如在法律领域,将各种法律法规、案例判决等数据输入到大模型中,它就可以在回答法律相关问题时更加专业、准确。就像一个学生通过不断学习课本知识和练习题,逐渐掌握了学科的知识体系,大模型通过 SFT 能够不断丰富自己的知识储备,提高在特定领域的回答能力。
第二种是 RGA(检索增强生成),这种方法是通过搜索相关信息,然后在对话的时候把这些信息一起作为上下文知识输入到大模型中。例如,当用户询问“最近有哪些关于人工智能的重大突破?”,大模型可以通过检索最新的新闻报道、科研论文等信息,将这些时效性很强的信息与自身已有的知识相结合,给出一个更加准确、全面的回答。这样做的好处是,大模型可以知道一些时效性很强的信息或者是比较小众的知识。比如对于一些新兴的技术领域、特定地区的文化习俗等比较小众的知识领域,大模型可以通过 RGA 及时获取相关信息,从而更好地回答用户的问题。就好像一个人在回答问题时,不仅依靠自己已有的知识,还可以随时查阅相关的资料来辅助自己的回答,使回答更加准确、有说服力。
大模型时代有哪些机会?
大模型时代的到来为我们带来了很多前所未有的机会。
首先,它极大地降低了知识获取的成本。以前,要拥有一个私教、私人律师、私人医生或者私人助理是非常昂贵的,但是现在,借助大模型,人人都可以低成本地拥有这些“私人专家”。比如,在教育领域,大模型可以根据学生的学习情况和需求,为学生提供个性化的学习方案和辅导,帮助学生更好地掌握知识。学生可以随时随地向大模型提问,获取学习资料、解答难题,就像拥有了一个私人教师一样。在法律领域,普通人在遇到法律问题时,可以通过大模型快速获取相关的法律知识和建议,了解自己的权利和义务,甚至可以在大模型的帮助下起草简单的法律文件,大大降低了法律咨询的成本。在医疗领域,大模型可以根据患者的症状和病历数据,提供初步的诊断和治疗建议,帮助患者更好地了解自己的病情,为患者就医提供参考。
其次,在就业市场方面,大模型也带来了新的机遇和挑战。一方面,对于那些能够熟练运用大模型的人来说,他们将在就业市场上具有更大的竞争力。比如,数据分析师可以利用大模型对大量的数据进行快速分析和挖掘,提取有价值的信息,为企业的决策提供支持;市场营销人员可以通过大模型了解消费者的需求和行为,制定更加精准的营销策略。另一方面,一些传统的工作岗位可能会受到大模型的冲击,比如一些重复性、规律性较强的工作可能会被大模型所替代。因此,人们需要不断学习和提升自己的技能,以适应大模型时代的就业需求。
总之,大模型已经在悄悄改变我们的生活和工作,我们要积极地去了解和利用它,抓住大模型时代带来的机遇,迎接挑战。当然也要当心,现在不学大模型,小心刚毕业的大学生带着大模型把你卷失业。
如何学习大模型 AI ?
由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。
但是具体到个人,只能说是:
“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。
这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。
我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段(10天):初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么?
- 大模型是怎样获得「智能」的?
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例:向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段(30天):高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示(Embeddings)
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段(30天):模型训练
恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。
到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2:手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段(20天):商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身:基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例:如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。
如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。