了解完大模型后,我决心重塑自己的思维方式

前段时间学习了大模型的工作原理,学完之后,我决定改变自己的大脑思维模式,向大模型学习。

大模型的智能,显然还不是人类的智能,但它的结构和训练过程,非常值得学习。正是这独特的模型和方法,让它产生了令人震惊的效果。

大模型本身是受人脑启发的,所以,它做的好的,我们人脑完全可以学习。

本文所称大模型,是指大语言模型LLM,是指基于Transformer结构的大模型,如果举例,本文主要以GPT3为例。

一、学习大模型的字字珠玑

你知道吗,在大模型里,每个字都有一串不同的数值,就像是这个字的密码一样,神秘而不可名状。这些神奇的数值被送入大模型神奇的注意力机制和神经网络,就出现了神奇的效果。

举个例子,我们看看**“变形金刚”**这四个字在大模型中是怎么表示的吧:

“变”:[-0.09, 0.06,-0.78, 0.25,-0.00, …, 1.41, 0.76,-0.75, 1.13,-0.92]

“形”: [-0.30, 0.23,-0.09,-0.67,-0.57, …, 0.72, 0.20,-0.58, 0.21, 0.08]

“金”: [-1.15,-0.46,-0.02, 1.10,-0.43, …, 0.42,-0.41,-0.62, 0.44, 1.21]

“刚”: [1.20,-0.91,-0.19,-0.40,-0.88, …,-0.38, 0.09,-0.81, 0.61, 0.93]

注意,省略号代表省略了一堆数值。从术语上讲,可以把这些数值称为一个字的“特征向量”,数值的个数就是向量的维度。

对于GPT3,其维度高达12288,就是说,每个字由12288个数值来表达!

这些数值代表了什么呢?打个比方,我们说“狗”是动物、是哺乳类、有毛发、会叫、有一定智能、比较忠诚、有一定攻击性、杂食、需要适度运动,可以用 9个数值来表达,但是GPT3却用了12288个数值!

没人能说清,这么多维度中的每个数值表达了什么含义,只有大模型自己知道。

这些数值如何得来?当然不是人赋的,而是训练出来的。大模型在学习大量语料的过程中,不断调整对每个字的认识,直至整个模型令人满意时,训练结束,这些值也就定下来了。

大模型的这个特点,让我觉得,对每个字、每个概念,应做细致的考察和理解,要尽可能全面地抓住它的意思,这样,才能更好理解和掌握文字。

越全面,智能越强。

每个文字进入大模型先转为特征向量

二、学习大模型的融会贯通

曾有哲人说过,“你想要了解一个事物,就需要了解一切”。

现在看来,他不仅是对的,而且是太对了。

想要成为经济学家?单啃经济学的书可不行,你还得懂政治、懂社会、懂人性、懂历史,懂哲学。

想成为军事家?准备好跨界吧!你需要知道的不止是行军打仗,还得懂农业生产、武器制造、工程建设、金融资助、物资运输、信息科技,当然,你更要懂人性、懂文化。

想成为人工智能专家?这可不是敲敲键盘那么简单,你得懂语言学、逻辑学、数学、心理学、脑科学、工程学,还得懂哲学!

真正的天才,事实上都是通才。

大模型就是个通才。

ChatGPT之所以惊艳世界,是因为它几乎无所不知。

而这背后,是它啃了45TB语料的结果。45TB,相当于数百万本书的信息量!

正是通过对这些语料的刻苦训练,大模型学会了给每个字合适的特征向量,学会了建立靠谱的神经网络条件反射,学会了算出最适合的下一个字。

大模型并不记录任何知识,比如,它并不记录“中国的首都是北京”,但你问他中国首都是哪里,它肯定能回答出来是北京。所有的信息都在神经元连接的权重参数之中,他看到“中国”和“首都”,就能下意识反应说“北京”。

这些用于构成条件反射的权重参数,数量庞大(对GPT3而言,有1750亿个),没人知道这些权重都是什么含义,人们只是知道它们能呈现出惊人的效果。

这些权重并不是人工赋值的,它们也是训练出来的,计算机逼着大模型学习海量语料中的任意一段文字,逼其调整权重,使之能够预测任意一段文字的下一个字,而且误差要让人满意。

一旦做到这点,就意味着,它知道人怎么说话,人怎么想问题,人怎么看世界,大模型以它的结构和它的参数,拟合了数百万本图书量的高质量文字,它相当掌握人类的知识。

相比之下,每个人学的东西太少了,每个人懂的也太少了。高人和一般人的区别就在于,高人掌握更多高质量的信息,高人拥有更多靠谱的神经连接。

虽然机器和人学习的方式并不一样,但有一点是肯定的,博览群书、见多识广,总比不读书、闭塞要好。

向大模型学习,看得更多,懂得更多。

三、学习大模型的心领神会

大模型只是在不断输出下一个字,但每一个字的输出,都是经过反复锤炼的。

我们知道,一个字,在不同的句子中,有不同的含义,比如“我喜欢黄金首饰”和“这是一个变形金刚”,虽然里面都有“金”字,但“金”的含义大不相同。

大模型是靠注意力计算和前馈神经网络来识别语义、形成语境的。

所谓注意力计算,就是对一段文本中求得其中每一个字对其他每一个字的关系(本质上是字和字的特征向量间的点积计算),然后用这个关系对每个字的特征向量进行调整。

比如,对于“金”字,训练好后,就是一个初始的向量值,想知道“金”字在某段文本中的含义,要看周围的字。

“金”字附近,是“黄”,是“首饰”,那么这个“金”字,就会是黄金首饰的“金”。

“金”字附近,是“刚”,是“变形”,那么这个“金”字,就会是变形金刚的“金”。

经过注意力计算后,“金”在这段文本中的特征向量会调整到合适的位置。

不光“金”字,文本中的所有字都会被调整,调整为贴合人意的语境。

之后,这些特征向量,会送往前馈神经网络,让大模型做进一步的联想和推理,大模型很了解,人们在说“我喜欢黄金首饰”时,通常接着会说“我想买一个”之类的话。

以上的“注意力计算 + 前馈神经网络”就是一层计算,做完一层后,会再做一层这样的计算,循环往复,做若干层。对于GPT3,做96层。

大模型通过层层注意力计算和神经网络实现智能

研究表明,前几层计算专注于理解语法、解决词汇的歧义,后面的层则致力于对整个文字做高层次理解。

比如,你扔给大模型一段故事:

“大壮有个表弟叫小帅,他喜欢变形金刚……有一天,大壮发现……于是,大壮前往英国……”(故事略去)

LLM的前面若干层计算中,基本上是做语法分析,比如这里的“金”是“金刚”而不是“金子”,“变形”是个形容词而不是动词,“大壮”是一个人名而不是“大壮山河”,“他”指的是“小帅”而不是“大壮”。

在后面的层次的计算中,会做更高层的逻辑分析,对一个人的刻画也更精确和完善,比如算到第60层时,GPT3基本上就分析出来:

“大壮”有如下特点:主角、男性、小美的男朋友,小帅的表哥,来自美国,目前在英国,试图找到他丢失的钻石。

经过96层的分析计算,大模型掌握了故事里面每个人、每件物品、每件事,了解它们的特征、处境、历史和现状,然后将这些信息存放在每个字的特征向量之中。

然后,这些值被送到最后一个神经网络,以输出要预测的下一个字。在做了前面那么多分析和研究后,下一个字几乎是呼之欲出的。

比如对于“我喜欢黄金首饰”,可能就会接着一个逗号,然后接着“戴着真漂亮”或者“我想买一个”。

对于“这是一个变形金钢”,可能也会接着一个逗号,然后接着“真酷”,或者“我想玩它”之类的。

大模型告诉我们,想要深刻理解一个东西,就要不断思考,翻来覆去思考,从各个层面思考,最终,肯定会越来越明白。这就是“书读百遍,其义自现”。

反过来是一样的,如果我想让人比较容易地理解一件事,我最好能营造出丰富、生动和完整的语境,让听者身临其境,然后,他自然就能领会我的意思。

四、学习大模型的自我修炼

大模型的训练方法,是反向传播算法,它计算输出和期望的差距,通过偏导计算,逐层逐步调整模型参数,使输出逼近期望。

做人是一样的,了解现状,定位目标,分析差距,反思原因,调整要素,然后再看调整后的系统效果,不满意就再来一轮。这是很常见也很自然的做法。

比如,你发现自己的演讲能力不够好,那就可能需要调整思想力、表达力、演讲技巧和自信心。当然,这并不容易,正确分析出问题症结,比大模型求偏导要难得多。

然而,人类有一种自动调节的能力,就是模仿、重复、背诵、演练,这就是对人脑的训练。

人工智能历史上,有两大派,符号派(将一切抽象为符号,建立逻辑系统)喜欢理性分析、逻辑推理;连接派(神经连接的意思,大模型就是连接派的产物)喜欢野蛮训练,大力出奇迹。

现在,连接派胜出了,符号派投降了。

比如,学习英语,符号派会去学习语法,连接派会去做大量阅读和背诵,谁能学得更好?

古人明白这点,他们“熟读唐诗三百首,不会作诗也会吟”。

五、学习大模型的举重若轻

马斯克今年3月份开源的大模型叫grok,这个名字取得可真巧妙。

grok,来自科幻小说《异乡异客》(Stranger in a Strange Land,1961),是火星人(说的是真火星人哦)使用的一个词语,指“理解深刻、符合直觉”(to understand profoundly and intuitively)。

大模型已经练就这样的能力:随便你扔给它什么问题,它都不怕,它不慌不忙,按照内部神经连接,完成计算,吐出答案。

它从来不会因为问题很难,就思考半天。

它像下意识般,口吐莲花,输出一个又一个字。

这种能力,要求对文字有深入理解,要求对世界领悟深刻,大模型经过千锤百炼,它能做到。

我们,最好也能这样,内功深厚,见招拆招,举重若轻。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型?

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术,如自然语言处理和图像识别,正在推动着人工智能的新发展阶段。通过学习大模型课程,可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术,从而提升自己在数据处理、分析和决策制定方面的能力。此外,大模型技术在多个行业中的应用日益增加,掌握这一技术将有助于提高就业竞争力,并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服:某科技公司员工在学习了大模型课程后,成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率,还显著降低了人工成本。
②医疗影像分析:一位医学研究人员通过学习大模型课程,掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变,为医生提供了有力的诊断辅助。
③金融风险管理:一位金融分析师利用大模型课程中学到的知识,开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险,降低了不良贷款率。
④智能推荐系统:一位电商平台的工程师在学习大模型课程后,优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率,为公司带来了显著的增长。

这些案例表明,学习大模型课程不仅能够提升个人技能,还能为企业带来实际效益,推动行业创新发展。

学习资料领取

如果你对大模型感兴趣,可以看看我整合并且整理成了一份AI大模型资料包,需要的小伙伴文末免费领取哦,无偿分享!!!
vx扫描下方二维码即可
加上后会一个个给大家发

在这里插入图片描述

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段
在这里插入图片描述

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,皆可用。
在这里插入图片描述

三、视频和书籍PDF合集

从入门到进阶这里都有,跟着老师学习事半功倍。
在这里插入图片描述

在这里插入图片描述

如果二维码失效,可以点击下方链接,一样的哦
【CSDN大礼包】最新AI大模型资源包,这里全都有!无偿分享!!!

😝朋友们如果有需要的话,可以V扫描下方二维码联系领取~
在这里插入图片描述

  • 6
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值