一、引言
ChatGPT、Open AI、大模型、提示词工程、Token、幻觉等人工智能的黑话,在2023年这个普通却又神奇的年份里,反复的冲刷着大家的认知。让一部分人彻底躺平的同时,让另外一部分人开始焦虑起来,生怕在这个人工智能的奇迹之年,输在起跑线上。
如果你对这个赛道恰好有点感兴趣,却又不太理解这些专业词汇,建议收藏这篇文档,有空的时候拿出来看一看。
本文通过和人脑的对比,通过一个个形象的比喻让新手小白也能对大模型有个感性的认识
如果您也对AI大模型感兴趣想学习却苦于没有方向👀
小编给自己收藏整理好的学习资料分享出来给大家💖
👉获取方式:
😝有需要的小伙伴,可以保存图片到wx扫描二v码关注免费领取【保证100%免费
】🆓
二、大模型的基本概念
2.1 当我们说大模型时我们在说什么
大模型和大语言模型是人工智能领域的两个概念。
大模型(Large Model):指在机器学习中使用的庞大的、复杂的算法模型,它们可以处理和分析大量的数据,用于各种任务如图像识别、自然语言处理等。
大语言模型(Large Language Model):大语言模型是大模型的一种,专门用于处理和理解自然语言,如文本生成、语言翻译等。它们通过学习大量文本数据,掌握语言的规律和结构。总的来说,大语言模型是大模型在语言处理方面的应用。
大模型的大指的是模型的规模,具体体现在两个方面:
- 模型参数的数量:模型的参数多意味着模型的结构更复杂,能够捕捉的数据特征更丰富,这样就可以处理更复杂的任务和更精准的预测。
- 模型训练所需的数据量:以确保模型能够学习到足够的知识和规律,避免过拟合。
所以大模型的大意味着巨大的数据资源和计算资源需求。
训练ChatGPT这样的生成式AI需要至少1万张英伟达A100显卡,单张显卡的价格目前是六七万,性能更优的V100单价8万元人民币,也就是说光算力投入至少就要达到六七个亿以上
2.2 用人脑来理解大模型
大模型由三个层次来构成,分别是算法(模型结构)、模型参数(数量和数值)、训练数据。为了更好的理解大模型,我们可以将这三个层次映射到人类的大脑
- 算法(模型结构):想象这就像是大脑的基本工作方式或“使用说明书”。就如同我们学习走路或说话遵循某种基本规则一样,算法告诉大模型如何基本地处理和理解信息
- 模型参数:这可以比作是你的生活经验和记忆,它们让你变得独一无二。比如,你学会骑自行车后,大脑就记住了如何保持平衡的“设置”(参数)。在大模型中,这些参数是它通过查看大量数据学到的“经验”,帮助它做出决策
- 训练数据:就像是人通过看、听、感觉到的一切来学习新事物。假设你去过很多国家,你的大脑就会根据这些旅行的经历来理解世界。对于大模型,训练数据就是它用来学习的信息,这些信息帮助模型“体验”世界。
通过这种方式,我们可以把大模型想象为一个正在学习世界的“电子大脑”,它通过 观察(训练数据)、 记忆(模型参数)、 **基本规则(算法)**来理解和预测世界,就像一个人通过生活经验来学习和成长一样。
三、大模型的基本原理
3.1 大模型是如何工作的
当大语言模型回答人类的提问时,其过程可以用以下几个通俗易懂的步骤来描述:
- 接收问题:首先,大模型接收到一个问题,就像人类的大脑通过耳朵听到别人提出的问题一样。这一步骤中,大模型“阅读”问题文本,开始理解提问的内容。类比人脑通过听觉或视觉接收信息,然后大脑开始处理这些信息。
- 理解问题:接下来,大模型会分析问题的意图和关键词,就像人类大脑在听到问题后,会根据已知的语言规则和词汇理解问题的意思。类比大脑会根据以往的经验和知识,理解问题的意图。
- 检索信息:一旦理解了问题,大模型就会在它“记忆”中搜索相关信息,这就像是人脑在记忆中寻找答案一样。大模型的“记忆”是由之前训练时学到的大量数据组成的。类比人脑翻找记忆,找到相关的信息来回答问题。
- 组织回答:找到相关信息后,大模型会开始构建回答,把找到的信息组织成一段连贯的文本。这个过程就像是人脑在找到答案的碎片后,开始把它们拼凑成完整的句子准备说出口。类比大脑在准备一个演讲或写作文时,如何把想法组织成流畅的语言。
- 优化回答:在回答准备好之前,大模型还会进行自我检查和优化,确保答案是准确和合适的。这一步骤类似于人在说出口或写下答案之前,会在脑海中反复琢磨,调整措辞使其更加准确和恰当。就像在提交一份报告或发送重要邮件前,你会反复检查内容,确保没有错误。
- 提供回答:最后,大模型输出回答,就如同人类最终说出或写下他们的回答。这个回答是基于模型对问题的理解、检索到的信息和它如何组织这些信息的能力。这就像是在对话中回答问题或在考试中填写答案,你的大脑将所有准备好的信息转化为语言输出
3.2 大模型的能力从何而来
想象一下,大语言模型的训练过程就像是教一个孩子学习语言和知识。我们可以通过几个简单的步骤来理解这个过程,同时将每一步与人类大脑的学习方式作比较。
1. 数据收集
首先,就像孩子从书本、对话和电视中学习一样,我们需要给大语言模型提供大量的文本资料。这些资料来自于网上的文章、书籍、新闻等,涵盖了各种各样的主题
类比人脑:这就像是给孩子提供各种书籍和环境中的语言刺激,让他们接触到丰富的信息和知识。
2. 数据预处理
然后,我们需要整理这些资料,确保它们是清晰、有用的。这可能包括去除重复的内容、修正错误等。
类比人脑:教孩子区分有用的信息和噪音,比如教他们理解哪些是重要的单词和句子,哪些是背景噪声
3. 模型训练
接下来大语言模型会通过训练来学习这些数据,而这又可以分为3个步骤:
- 无监督学习
在无监督学习中,大模型像一个孩子在没有明确指示的情况下探索世界。它通过观察大量的文本数据,尝试找出单词、短语和句子之间的关系和模式,而不是被直接告诉每个单词或句子的具体意义。
类比人脑:就像孩子通过自己玩玩具、观察周围的环境来学习物体是如何相互作用的,而没有大人在旁边指导他们每一步。
- 监督学习
在监督学习的情况下,大模型的训练就像是有一个老师在旁边指导。模型被提供了大量的“问题-答案”对,它的任务是学习如何从问题中找到正确答案的模式。这种方法下,模型通过比较它的答案和正确答案来学习,不断调整自己以减少错误。
类比人脑:这相当于孩子在做家庭作业时,老师或家长会告诉他们哪些答案是对的,哪些是错的,并帮助他们理解正确答案背后的原因。
- 强化学习
强化学习则更像是训练宠物或孩子时的奖励机制。在这个过程中,大模型通过尝试和错误来学习,每当它做出正确的决策时,会收到奖励;而做出错误决策时,则可能收到惩罚或较少的奖励。这种方式鼓励模型自主探索并找到达成目标的最佳路径。
类比人脑:就像孩子学习骑自行车,当他们找到保持平衡的方法并成功骑行时,会从父母那里得到表扬或奖励。这种正面的反馈鼓励他们继续练习并改进技能。
4. 迭代训练
大语言模型需要不断地通过这些材料练习,每一次都尝试改进,直到它能流畅地“理解”和生成文本为止。
类比人脑:就像孩子需要不断练习说话和阅读,通过重复和练习来加深理解和记忆。
注意,迭代训练并不是独立的过程,模型训练中提到的无监督学习、监督学习和强化学习都有各自的迭代训练流程。
5. 微调(Fine-tuning)
有时候,模型在特定的任务上表现得还不够好。这时,我们会在特定的数据集上对它进行微调,就像是针对孩子的弱点进行特别辅导。
类比人脑:这相当于针对孩子的学习难点提供更多的练习和指导,帮助他们在某个具体领域取得进步。
6. 应用(部署)
最后,经过训练和微调的大语言模型就可以在各种任务上展现它的能力了,比如回答问题、写作或翻译。
类比人脑:这就像孩子在学会语言和知识后,能够在学校的考试中表现良好,或者在日常生活中有效地交流。
通过上述的类比,我们可以看到,大语言模型的训练过程与人类学习过程有着惊人的相似之处。它们都需要大量的材料、不断的练习和错误中学习,以及针对性的指导和微调,才能达到一个良好的学习效果。
3.3 大模型一定是正确的么
大模型有时会产生不准确的输出,这种现象在专业术语中被称为幻觉
为了更好地理解这一点,让我们深入探讨一个日常生活中的场景:一个小孩因为没有完成作业而面临老师的提问。这时,小孩需要从自己的经验库中搜索可能的借口,这些借口可能包括
- 我忘记写了
- 昨天沉浸于帮老奶奶过马路,耽搁了写作业的时间。
- 我的作业被我家的猫吃了,
- 我家里发生了大火,作业被烧了
然后小孩子会根据概率挑选一个答案来回复老师。比如我的作业被我家猫给吃了。
对于他的老师来说,这其实也是一种幻觉。虽然这种可能性也是存在的。但是通过基础的人类知识库来判定,大概率是假的
这个例子反映了大模型在处理信息时的工作机制。当大模型面对它们不完全理解或数据不足以支持准确回答的问题时,它们会尝试提供一个看似最合理的答案。
这并非意味着大模型在有意“撒谎”,而是因为它们在试图根据所学的信息进行最佳推测。然而,如果训练数据充满错误、偏见或不准确之处,或者模型试图在信息不完整的情况下做出判断,它们可能会产生误导性或不准确的输出。
这种情况提醒我们,尽管大模型是强大的工具,能够提供有用的见解和信息,但我们也应该批判性地评估它们的输出,意识到它们可能存在的局限性和偏差。
3.4 大模型有哪些限制
大语言模型的发展虽然取得了显著的进步,但它们仍然面临着一些限制。下面通过几个类别来讨论这些限制,并且用人脑的工作方式来进行通俗易懂的比较。
1. 理解深度和上下文
- 大模型的限制:大语言模型在处理复杂的上下文或理解深层含义时可能会遇到困难。它们能够匹配模式和生成在语法上正确的句子,但有时候不能完全理解复杂的人类情感、幽默或隐喻。
- 人脑比较:想象一下,一个孩子刚开始学习语言。虽然他们可以复制成人的话语,但可能还不能完全理解成人间复杂的情感交流或双关语。孩子的理解能力会随着经验的积累而增强。
2. 数据偏差和公正性
- 大模型的限制:大语言模型的学习是基于它们被训练的数据。如果这些数据存在偏见,模型也可能反映这些偏见,导致不公平或有偏差的输出。
- 人脑比较:这就像是如果一个人只在特定的社会或文化环境中长大,那么他们的观点可能会受到这个环境的影响,有意无意地反映出周围社会的偏见。
3. 透明度和解释性
- 大模型的限制:大语言模型像一个“黑盒”,它们的决策过程很难追踪和解释。我们可能不清楚模型为什么会生成某个特定的答案。
- 人脑比较:这就像当别人问我们为什么有某个直觉时,我们有时候也很难解释清楚。我们的大脑在做决定时会考虑无数的因素,但这个过程并不总是完全清晰或可解释的。
4. 资源消耗
- 大模型的限制:训练大型语言模型需要大量的计算资源和电力,这在环境和经济上都是一种负担。
- 人脑比较:可以类比为一个学生在准备考试时,需要大量的时间和精力去学习和复习。虽然人脑不需要电力,但是学习过程中的时间和精力消耗也很巨大。
5. 安全性和隐私
- 大模型的限制:大语言模型可能无意中泄露训练数据中的敏感信息,或被用于生成有害内容。
- 人脑比较:这就像我们在分享故事或信息时可能不小心透露了别人的秘密,或者在不了解全部情况时传播了不准确的信息。
四、如何更好的使用大模型
为了更好的使用大模型,我们绕不开一个概念:提示词(Prompt),提示词是什么呢?
如果把大模型比作一个人,提示词就是与这个人沟通的语言
如果大模型比作计算机,提示词就是我们所说的编程语言(Java、Python等)
可以这么说,在AI时代,如果你要用好大模型,你可以不懂算法,不懂大模型底层的原理,但是你绝对不能不懂提示词,因为这是你跟大模型沟通的唯一途径。
因为提示词非常重要,所以产生了一门专门的学科叫做提示词工程(Prompt Engineering),这门学科旨在精心设计和优化输入给人工智能模型的提示语句,以引导模型生成更准确、更相关或更创造性的输出。
五、总结
文章深入探讨了人工智能大模型的核心概念,通过与人脑的比较,生动地解释了大模型如何工作,其训练过程的复杂性以及它们面临的限制。
最重要的是:在AI时代,掌握与大模型沟通的“提示词”至关重要。