大语言模型介绍(一)

最新推荐文章于 2024-08-26 14:09:34 发布
最新推荐文章于 2024-08-26 14:09:34 发布
阅读量4.1k 收藏 24
点赞数 3
分类专栏： 大语言模型 文章标签： 语言模型 人工智能 深度学习 自然语言处理 chatgpt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kissshot13/article/details/131213022
版权

什么是大语言模型

由于ChatGPT的火爆把大语言模型这个新名词推到了大众的视野里。那么，什么是大语言模型? 什么是GPT？
WIKI百科对大语言模型是这样解释的。

大语言模型 (英语：large language model，LLM) 是一种语言模型，由具有许多参数（通常数十亿个权重或更多）的神经网络组成，使用自监督学习或半监督学习对大量未标记文本进行训练。大型语言模型在 2018 年左右出现，并在各种任务中表现出色。尽管这个术语没有正式的定义，但它通常指的是参数数量在数十亿或更多数量级的深度学习模型。大型语言模型是通用的模型，在广泛的任务中表现出色，而不是针对一项特定任务。

翻译成白话就是在2018年开始陆续出现的一种技术(后续会解释为啥是2018年才开始陆续出现)，这种技术的特征一个是大，一个是有通用性。

那什么是GPT呢？WIKI百科的解释是：

GPT（Generative pre-trained transformers）是一种大语言模型, 是生成式人工智能的重要框架。 第一个 GPT 于 2018 年由美国人工智能 (AI) 公司 OpenAI 推出。 GPT 模型是基于 transformer 架构的人工神经网络，在未标记文本的大型数据集上进行预训练，能够生成新颖的类人内容。

简单理解GPT其实是一种大语言模型技术的实现方案，由美国的OpenAI公司推出，重点是这个技术可以自动生成内容(看上去像人类生成的，而非人工智障生成的)。

现在大火的ChatGPT也就是基于GPT实现的一个落地应用。


这个应用唯一的功能就是聊天，你输入对话，它回答。
但就是这个聊天的功能的应用，却引爆了整个科技行业乃至人类社会。被誉为新一代的工业革命。
因为聊天这个功能似乎“无所不能”。比方说：

  • 问问题：某个主题的基本知识、某个问题的答案
  • 提供建议：根据您的需求给出相关的建议和指导，如健康、财务、职业等
  • 语言翻译：将语言翻译成另一种语言
  • 生成文章：生成符合您需求的文本
  • 解题：理解题目，并给出解题过程和结果
  • 写代码: 理解需求，产生一段计算机代码
    …
    所以说唯一限制我们使用场景的就是我们的想象力。

大语言模型背后的技术

我总结了大语言模型具有以下几个特征：

  • 大规模预训练数据集。 大语言模型通常在大型文本数据集上进行预训练, 这些数据集的大小可达10万亿词。
  • 神经网络。神经网络是一种人工智能技术，用于教计算机以受人脑启发的方式处理数据。这是一种机器学习过程，称为深度学习，它使用类似于人脑的分层结构中的互连节点或神经元。它可以创建自适应系统，计算机使用该系统来从错误中进行学习并不断改进。
  • 涌现能力。涌现使模型可以自动生成具有语言上下文和逻辑关系的连贯文本，这些文本在预训练时并没有直接指定，而是通过模型自身的学习和推理得到的。涌现究竟是如何出现的，目前并没有确切的答案，更多的猜测是当数据量达到一定规模后，由于模型学习到了足够多的样本案例，逐渐出现的。
  • 泛化能力（即通用能力）。由于模型在大规模文本数据上进行训练，它们具有较强的泛化能力，能够处理各种不同的任务和场景，如文本摘要、文本生成、机器翻译、问答等。

因此，要开发一个强大的大语言模型，首先要面对解决的是收集大量的自然语言语料进行训练。据相关资料显示GPT-3训练的语料量就高达45TB。注意这是文本类型的语料，想想我们一纯文本的电子书才多少KB。并且语料的来源应该是也多样化的，可以从公共数据看到一些大模型语言语料库的来源占比。从GPT-3的模型可以看到其中64%的训练数据来源于网页，17%的训练数据来源于代码，13%的电子书，5%来源于对话数据。

image-20230614100119510 (图源来自互联网，如有侵权请联系删除)

除了自然语言语料外，大语言模型还需要选定一个适合的基础架构。Transformer 架构已成为开发各大语言模型架构的事实标准。在2017年，Google发表了一篇论文 《Attention Is All You Need》 ，里面提到了一了self-attention 机制，其中就提出了大名鼎鼎的架构Transformer 。这也就不难理解为啥2018年后陆陆续续大语言模型出来了。如果对 《Attention Is All You Need》 这篇paper感兴趣的可以读一读原文https://arxiv.org/pdf/1706.03762.pdf。后续将会出个专门的篇章讲解。

简单理解，Transformer可以类比成一个具有魔法的机器，这个机器的作用是，读取一段话，预测这段话的下一个字出现的概率，然后选择最有可能性的字输出。再把这个字加上前面这段话作为新的对话输入，预测下一个字，循环往复，直到预测出终止符为出现概率最大的字为止。这些输出的字一个一个拼接起来，就成为了该机器的回答。

比如我们问：“你是谁？”，机器接受到这个输入以后，预测到下一个字是"我"的概率是99%，所以输出”我“。

然后机器自动把"你是谁？我"再输入到机器中，预测出下个字是"是"的概率是95%，那么会输出"是"。

一直循环往复，直到预测到下一个字是"END"这个终止符的概率最大时终止这个流程。

问: 你是谁?
答: 我是ChatGPT，一个由OpenAI开发的语言模型。我可以回答各种问题、提供信息和进行对话。有什么我可以帮助你的吗？

仅仅是对于下一个字的预测真的有那么神奇的能力，能让机器的输出的结果满足我们的预期？
体验过ChatGPT的人都会惊讶于该产品的体验，仿佛机器真的有该魔法能力一般，或者说拥有"智能"一般。
所以这个魔法能力来自哪里？答案是OpenAI的人也说不清。于是就有了这么一个词"Grokking"，中文翻译成涌现能力。

当模型到达一定规模的时候，似乎涌现能力使模型可以自动生成具有语言上下文和逻辑关系的连贯文本，这些文本在预训练时并没有直接指定，而是通过模型自身的学习和推理得到的。涌现究竟是如何出现的，目前并没有确切的答案，更多的猜测是当数据量达到一定规模后，由于模型学习到了足够多的样本案例，逐渐出现的。直白一点也就是说量变引起了质变。

这个量变可以说是代表了人类一直以来对于人工智能探索的曲折。可以追溯到1950年，图灵提出的著名的"图灵测试"，给出判断机器是否有智能的方法。从20世纪50年代至今，经过无数的前期铺垫和技术的演进，我们看到最近几年AI能力的"涌现", 而ChaGPT不过是新的序章的高潮部分而已。

国内百花齐放

目前国内在大语言模型方面可谓是百花齐放。

  • 2023.02.20 复旦大学开放大语言模型MOSS

  • 2023.03.15 智普AI开放大语言模型ChatGLM

  • 2023.03.16 百度文心一言发布

  • 2023.04.07 阿里巴巴通义千问发布

  • 2023.04.09开放360智脑的内测

  • 2023.04.10日日新亮相

  • 2023.05.06科大讯飞发布星火大模型
    …

可以看到国内有能力的厂商都在争先恐后，不遑多让。

国内也有针对中文通用的测评。中文通用大模型基准（SuperCLUE），是针对中文可用的通用大模型的一个测评基准。SuperCLUE从三个不同的维度评价模型的能力：基础能力、专业能力和中文特性能力。

基础能力:
包括了常见的有代表性的模型能力，如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等10项能力。

专业能力:
包括了中学、大学与专业考试，涵盖了从数学、物理、地理到社会科学等50多项能力。

中文特性能力:
针对有中文特点的任务，包括了中文成语、诗歌、文学、字形等10项多种能力。

image-20230614172402455
测评的项目地址：https://github.com/CLUEbenchmark/SuperCLUE。

与此同时国内开源模型这块也有类似ChatGLM-6B这样可玩度非常高的模型，家用级显卡就能跑模型。并且由此衍生出较多的开源项目

image-20230614155847485

项目地址：https://github.com/THUDM/ChatGLM-6B

发展趋势

多模态

多模态是指利用来自不同模态的输入数据（例如视觉、音频、文本等）来改进学习和推理。例如，一个多模态模型可能会同时考虑图片（视觉模态）和文本（文本模态）来进行决策或预测。

image-20230614111712768

​ (图源来自项目https://github.com/THUDM/VisualGLM-6B，如有侵权请联系删除)

OpenAI在发布GPT-4的时候，曾演示了只需要用手稿画的设计图就能让GPT生成网站代码的能力。虽然目前还没开放相关入口。但是可以从国内模型比如科大讯飞星火模型，可以输入语言已经部分开源模型，比如VisualGLM-6B窥探出一二。

后续多模态必然会成为大语言模型发力的重点。

插件

OpenAI在ChatGPT中首次引入了插件的支持。插件是专门为语言模型设计的工具，它们的在安全的前提下可以帮助ChatGPT获取最新的信息，运行计算，或者使用第三方服务。

image-20230614111641426

可以这样想象，类GPT这样的大模型是机器的大脑，插件就是机器的手脚，针对不同的场景，只要更换不同的插件就能拥有相关场景的能力，比如GPT不具备上网的能力，可以通过网络插件来获取上网的功能，比如GPT不能点外卖，可以通过相关插件获取点外卖的功能。

插件的功能将赋予了大模型无线的想象力。后续我会对OpenAI的热门插件进行测评。有兴趣可以继续关注我的更新。

其他

除此之外针对大模型的出现也出现了一个新的职业Prompt工程师。

什么是Prompt？

Prompt在人工智能和计算机科学中通常指的是提供给模型或系统的输入或指令，用于触发或指导模型或系统的行为。在与聊天机器人或语言生成模型（例如GPT-3）的交互中，Prompt通常指的是用户提供的输入，这个输入将指导模型生成响应。Prompt的设计和选择对模型生成的结果有很大影响。一个好的Prompt可以帮助模型更准确地理解用户的需求，生成更相关和有用的回答。相反，一个不明确或含糊的Prompt可能会导致模型生成不准确或不相关的回答。

可以简单理解就是怎么科学地和机器聊天。那你可能会问，聊天还需要专门的职业吗？那你可小瞧Prompt了，这里面可是有很大的门道。有些有趣的项目可能会颠覆你对聊天的认知， 比如https://github.com/JushBJJ/Mr.-Ranedeer-AI-Tutor项目，该项目通过聊天的方式把GPT-4训练成一个AI导师。

毕竟大语言模型训练的是通用模型，对于一些垂直领域的专有知识了解可能存在不足。因此大部分大语言模型提供了finetune的能力。

finetune或称为微调，是一种机器学习技术，特别是在深度学习中使用较多。在这个过程中，一个已经在大量数据上预训练过的模型被进一步训练（微调），通常是在更小、特定任务相关的数据集上。这种方法的背后思想是：模型在大规模预训练阶段已经学到了大量有用的知识（例如语言模型学到的词汇、语法和部分语义信息），然后在微调阶段，这些知识被细化和适应，以优化模型在特定任务上的表现。

finetune的能力是大模型落地各行各业的基础。随着国产大模型技术越趋于成熟，将会有越来越多的专有领域模型借着finetune的能力落地到各个行业。

本文只是对大模型做了一个简单的介绍，后续将会继续更新该系列。

kissshot13
关注
专栏目录
自然语言处理实战项目9-大语言模型的训练与文本生成过程，详细步骤介绍
weixin_42878111的博客
06-01 2987
大家好，我是微学AI，今天给大家介绍一下自然语言处理实战项目9-大语言模型的训练与文本生成过程，详细步骤介绍。大语言模型的训练是通过深度学习技术实现的。首先，需要准备一个庞大的文本数据集作为训练样本，这些文本可以是网页、书籍、新闻等大量的非结构化文本数据。然后，使用这些文本数据来训练大语言模型，在训练过程中，大语言模型会尝试预测给定上下文之后的下一个词或字符。通过不断优化模型参数，使其能够更准确地预测下一个词或字符。
大型语言模型的快速介绍.pptx
09-03
大型语言模型的快速介绍.pptx
一文读懂大语言模型：基础概念篇
最新发布
孟林洁的博客
08-26 2114
在当今AI时代，大语言模型正以前所未有的速度重塑我们的世界。作为NLP领域的明星，它们不仅理解语言，更创造语言，开启了智能交互的新纪元。 本文将介绍着重介绍大模型的概念，帮助大家简单了解其技术原理、发展历程，并介绍国内外比较优秀的大模型。
什么是大语言模型
老王的博客
06-25 4302
介绍大语言模型的基本概念、组成以及工作原理等基础知识。
大语言模型 (LLM)是什么?
weixin_58753619的博客
04-16 1582
②虚假信息：大语言模型可能会生产一些具有极强迷惑性的信息，甚至可能被用于传播虚假信息或进行舆论操纵：当前社交机器人更多停留在一级传播，如果大语言模型和社交机器人相结合，就可能会形成类人的交流能力，带来社交机器人的多级传播，从而强化社交机器人传播虚假信息的负面影响。该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
跟着DW学习大语言模型-了解一些历史渊源
白水空空
06-18 1358
开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个。作为重要的研究方向之一，语言模型得到了学术界的广泛研究，从早期的统计语言模型和神经语言模型开始，发展到基于Transformer的预训练语言模型。ChatGPT 从本质上来说是一个 LLM 应用，是基于基座模型开发出来的，与基座模型有本质的区别。
大模型（大型语言模型，LLM）
DrD2022的博客
07-25 1678
GPT-3 是“Generative Pre-trained Transformer 3”的缩写，是迄今为止最先进的语言模型之一，拥有数量惊人的参数（1750 亿）。这些参数代表模型在预训练阶段获得的“知识”或“经验”，在预训练阶段模型会接触到来自互联网的大量文本数据。大型语言模型，也称为“大规模语言模型”，是指旨在处理和理解人类语言的人工智能（AI）模型。这些模型是更广泛的自然语言处理 (NLP) 领域的一部分，能够执行各种与语言相关的任务，例如文本生成、翻译、情感分析、语言理解、问答等。
大语言模型 Large Language Model | LLM
JasonH2021的博客
07-16 2万+
本文简单介绍了大语言模型的基本概念，发展史，重大事件，主要算法，主要应用和面临的问题及挑战等。
什么是大语言模型？
逍遥壮士
04-02 8676
背景最近chagpt3|4非常火，导致业界很多人都觉得强人工智能很快就要取代我们这些工程师了，根据了解的确大语言模型建设的人工智能在未来的确可以取代一部分岗位，但是这是否意味着可以放慢脚步？什么是大语言模型？大语言模型 (LLM),全称：Large Language Models，LLMs， 代表着 AI 领域的重大进步，并有望通过习得的知识改变该领域。在过去几年中，LLM 的规模每年增加 10 ...
LLM（大语言模型）——大模型简介
热门推荐
telescopewang的博客
02-04 2万+
ChatGPT 的巨大成功激发了越来越多的开发者兴趣，他们希望利用 OpenAI 提供的 API 或者私有化模型，来开发基于大型语言模型的应用程序。尽管大型语言模型的调用相对简单，但要创建完整的应用程序，仍然需要大量的定制开发工作，包括API集成、互动逻辑、数据存储等等。为了解决这个问题，从 2022 年开始，许多机构和个人相继推出了多个开源项目，旨在帮助开发者们快速构建基于大型语言模型的端到端应用程序或工作流程。其中一个备受关注的项目就是 LangChain 框架。
人工智能——大语言模型
飞鹤的程序员人生
04-09 5283
一千行代码实现一个完整的可训练和推理的60亿参数的大语言模型，去魅人工智能，去魅大语言模型。本文重在介绍机器学习和大语言模型的基本原理。在科学研究上，机器学习和大语言模型的每一个环节都可以优化研究。如何提升训练的效率，降低训练过程中的过拟合是大语言模型的关键，Transformer的出现为大语言模型的可行性提供了技术支持，OpenAI的chatgpt的出现，证明了加大模型参数可以让模型的能力出现质的提升。大语言模型未来将会继承发展，会让人工智能走进世界每一个角落。几百行代码实现大语言模型。
人工智能大模型介绍.pptx
08-04
人工智能大模型的基础概念在于其庞大的参数数量，通常超过一亿个参数，远超传统神经网络。这使得它们能够学习并掌握更复杂的模式，从而在各种任务中表现出更强的智能。大模型的出现得益于大数据、高性能计算和先进的...
【AI 人工智能】大型语言模型的实现技术原理与应用
AI天才研究院
06-11 1万+
大型语言模型的实现需要使用多种技术，包括语言数据的处理、模型的构建和训练、模型的部署和应用等。模型的构建是指根据语言数据的特征信息，构建出一组合适的神经网络结构，以实现对语言的建模和处理。语言模型是一种能够处理自然语言的计算机程序，能够学习人类语言的语法、语义和用法，并通过大量的语言数据进行训练，从而生成高质量的自然语言文本。对于翻译任务，我们可以使用预训练的 CNN 和 RNN 模型，而对于文本生成任务，我们可以使用预训练的自编码器和 LSTM 模型。大型语言模型的实现和应用已经受到了广泛的关注和应用。
『大模型笔记』视觉语言模型解释
AI新视界
04-16 1720
视觉语言模型是指能够从图像和文本中学习的多模态模型。这类模型属于生成模型，能够接收图像和文本输入，并产生文本输出。大型视觉语言模型具备优秀的零样本能力，能够广泛适应多种图像类型，如文档、网页等，并且表现出良好的泛化性。应用场景包括图像聊天、图像识别指导、视觉问答、文档理解和图像描述等。部分视觉语言模型还能识别图像中的空间属性，例如，在被要求检测或分割特定对象时，能够输出边界框或分割蒙版，或定位不同实体并回答关于它们的相对或绝对位置的问题。
大型语言模型综述（一）
m0_47867638的博客
05-27 1万+
自20世纪50年代图灵测试被提出以来，人类一直在探索机器对语言智能的掌握。语言本质上是一个受语法规则支配的复杂的人类表达系统。这对开发有能力的人工智能(AI)算法来理解和掌握语言提出了重大挑战。作为一种主要的语言建模方法，在过去的二十年中，语言建模在语言理解和生成方面得到了广泛的研究，从统计语言模型发展到神经语言模型。最近，通过在大规模语料库上预训练Transformer模型，人们提出了预训练语言模型(plm)，在解决各种自然语言处理(NLP)任务方面显示出强大的能力。
Day15 —— 大语言模型简介
weixin_62804382的博客
06-20 2148
大语言模型基本概述什么是大语言模型主要应用领域大语言模型的关键技术大语言模型的应用场景NLP什么是NLPNLP的主要研究方向word2vecword2vec介绍word2vec的两种模型全连接神经网络神经网络结构神经网络的激活函数解决神经网络过拟合问题的方法前向传播与反向传播前向传播反向传播（Back Propagation,BP）RNN认识RNNRNN的应用领域常见的RNN模型LSTM认识LSTMLSTM的“门结构”Seq2Seq模型Seq2Seq表现形式Attention模型。
一文读懂“大语言模型”
明明如月的技术博客
05-22 1万+
深度学习是机器学习的分支，大语言模型是深度学习的分支。机器学习是人工智能（AI）的一个子领域，它的核心是让计算机系统能够通过对数据的学习来提高性能。在机器学习中，我们不是直接编程告诉计算机如何完成任务，而是提供大量的数据，让机器通过数据找出隐藏的模式或规律，然后用这些规律来预测新的、未知的数据。深度学习是机器学习的一个子领域，它尝试模拟人脑的工作方式，创建所谓的人工神经网络来处理数据。这些神经网络包含多个处理层，因此被称为“深度”学习。
【ai大模型】介绍大语言模型（LLM）
2301_81940605的博客
08-05 867
近年来，人工智能（AI）和自然语言处理（NLP）领域取得了显著的进展，其中大语言模型（Large Language Models，简称LLM）成为了引人注目的焦点。大语言模型是基于深度学习技术训练的，可以理解和生成自然语言文本的AI模型。
大语言模型简介
weixin_71016778的博客
06-21 188
大语言模型（Large Language Models）是一种基于深度学习的自然语言处理（NLP）模型，用于处理和生成人类语言文本。
介绍一下小型的大语言模型
06-03
小型的大语言模型是指参数量较少、计算资源较小但能够在一定程度上实现自然语言处理任务的模型。这种模型通常采用轻量级的网络结构和较少的参数数量，以在资源受限的情况下实现较好的性能表现。它们通常用于嵌入式设备、移动设备和单机等资源受限的环境中，可以支持语言模型预测、文本分类、文本生成等自然语言处理任务。 常见的小型大语言模型包括基于卷积神经网络（CNN）的模型、基于循环神经网络（RNN）的模型和基于自注意力机制（Transformer）的模型等。这些模型通常采用一些技术手段来减少参数数量，如参数共享、降低维度、量化等。例如，MobileBERT就是一种轻量级的BERT模型，它使用了一系列的技术手段来减少BERT中的参数数量，以适应移动设备等资源受限的场景。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值