【AI】LLM大语言模型Large language models

最新推荐文章于 2024-09-23 10:51:52 发布
最新推荐文章于 2024-09-23 10:51:52 发布
阅读量633 收藏 25
点赞数 27
文章标签： 人工智能 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51186267/article/details/141196484
版权

文章目录

1.什么是LLM

1.1 背景
  • LM (language model)
    统计语言模型(SLM)Statistical language models
    神经语言模型(NLM)Neural language models
    预训练语言模型(PLM)Pre-trained language models
    大规模语言模型(LLM)Large language models
1.2 LLM定义
  • LLM (Large Language Model)
    LLM是一种基于深度学习的大型自然语言处理模型，通过大规模数据集的预训练和微调过程学习语言的模式和规律，具有强大的文本生成和理解能力，广泛应用于文本生成，智能对话等多个领域。
  • 大预言模型的制作需两个阶段

1、Pre-train:
从巨大的数据集中进行无监督训练
学习一般的语言模式和表征
2、Fine-tune:
根据特定的任务和更小一点的数据集训练与微调

1.3 LLM“大”特点
  • 大规模的训练数据
    BERT:33亿个单词
    GLM-130B:4000亿个单词
  • 大规模的参数
    GPT-3:1750亿个参数
    PaLM-E:5620亿个参数
  • 涌现能力(emergent abilities)
  • 泛化能力/多功能性

2. LLM的应用

2.1 LLM的应用
  • 文本分类，文本生成，情感分析，机器翻译，问答系统等
  • 虚拟助手和Chatbot
  • 信息检索和知识图谱
  • 不同领域
    金融:情报分析，投资建议
    教育:个性化学习，辅助教学
    医疗:疾病诊断，药物研发
    艺术:自动生成作品，创意支持

3.Transformer模型

3.1 Attention机制
  • 传统RNN模型
    LSTM(Long-Short Term Memory)长短期记忆
    GRU(Gate Recurrent Unit)门控循环单元
    缺陷
    顺序计算，模型的并行能力较差
    长期依赖问题
  • 注意力机制(attention)

神经网络中模仿人类认知注意力的技术
灵活性
可以从序列中任何先前点的状态中提取信息

  • Transformer模型：attention机制 + FNN前馈神经网络的结合
3.2 Transformer模型
  • Transformer模型
    2017年谷歌团队提出Transformer模型
    抛弃了传统的RNN和CNN等网络结构
    整个网络结构完全由attention机制和FNN前馈神经网络组成
    由编码器encoder和解码器decoder组成
  • 优势
    更适合并行化，减少了训练时间，允许在更大的数据集上训练
    可扩展性:架构相对简单，可以轻松扩展到更大规模的模型
    泛化能力:适应不同的自然语言处理任务
  • Transformer 解决全句信息捕捉及大规模语料库训练的问题
  • Transformer模型中引入自注意力机制，具备捕捉全文的能力，改变RNNLM的串行结构，包含Encoder 和 Decoder两个部分。其中，Encoder负责理解源文，Decoder负责产出译文。
  • Multi-head Attention机制可并行地学习不同的子空间，提高表达能力及泛化能力，加快模型地训练与推理过程，同时支持对不同类型的注意力进行建模。
    在这里插入图片描述
3.3 常见LLM
  • 常见LLM
    • GPT-3(Generative Pre-trained Transformer 3)1750亿个参数的decoder-only模型
    • T5(Text-to-Text Transfer Transformer)文本对文本转化模型
    • GLM-130B
      1300亿个参数的双语模型
      在这里插入图片描述

4. LLM对世界知识的压缩

4.1 LLM对世界知识的压缩
  • LLM = lossless compression
    LLM模型的目标是实现对有效信息最大限度的无损压缩
  • 压缩的概念
    Chinese Room实验
    在这里插入图片描述
  • LLM压缩的方式
    通过学习进行知识压缩，训练过程可以被理解为对有效信息进行无损压缩的过程
    压缩率越高，模型的智能水平越高，泛化能力越强，对任务的理解也越好
  • LLM压缩的体现
    原始全部关键信息的保存适应性和泛化能力强
4.2 无损压损 vs 有损压损
  • 有损压缩
    LLM是对训练数据集的有损压缩
  • 无损压缩
    还原的对象不同，还原的是对原始数据的最小描述不关心去还原训练数据集，关心的是对世界知识的泛化泛化才是智能
  • LLM训练目的
    尽可能好的，对大的训练集，做无损压缩，以达到最好的泛化水平
  • 提高压缩的水平
    规模
    更好的架构工具的使用

Jack Rae Stanford MLSys分享链接

5 LLM的未来展望与挑战

5.1 LLM的未来展望与挑战
  • 展望
    模型规模和性能提升
    多模态融合
    深化领域应用
    潜力巨大
  • 挑战
    训练成本，能耗
    环保问题
    数据隐私和安全性
    数据偏差

LM发展

####1.1 统计语言模型(SLM)Statistical language models

  • 统计语言模型(Statistical Language Model，SLM)。
    • 统计语言模型，基于20世纪90年代兴起的统计学习方法开发的。
    • 定义:对于语言序列词w，wz，w3,….wn，语言模型就是计算该词序列的概率，即P(W1,W2.w.…,w)。简单来说，就是用于计算一个句子出现的概率，也是用于判断一句话是否合理的概率。
    • 本质:对语句的概率分布建模
    • 公式:给定一个词序列S=(wi,w2,w3,…,w)，它的概率表示为:P($)= P(x, = w,…,x„ = w„)= P(w)
      = P(w,)P(wz|w,)P(wslwzw,)… P(w,|w, w2… w-1)
2.1 前馈神经网络语言模型
  • 前馈神经网络语言模型通过结合词向量(word embedding)和前馈神经网络来解决上面两个问题:
2.2 循环神经网络语言模型

循环神经网络语言模型(RNNLM)，引入循环结构，解决长序列依赖问题

2.3 长短期记忆神经网路LSTM

长短期记忆神经网络(LSTM)
LSTM通过某种策略有选择地保留或者遗忘前文的信息解决梯度消失的问题，帮助网络记忆长期信息。后续引入遗忘门，维护从句子中学习的记忆。

观千剑而识器
关注
【AI人工智能】用于代码生成的大型语言模型 Large Language Models for Code Generation
AI天才研究院
06-09 1万+
大型语言模型通常采用Transformer等注意力机制架构,能够有效捕获输入序列中长程依赖关系。具体而言,编码器将输入序列映射为上下文表示,解码器则根据上下文和已生成的部分序列预测下一个token。代码生成任务中的输入序列可以是自然语言的问题描述、函数签名、测试用例等形式。模型通过学习大量的代码-自然语言语料对,建立两者之间的映射关系。在生成阶段,给定输入序列,解码器基于学习到的知识逐步推理和生成目标代码。
LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
c_cpp_csharp的专栏
07-30 241
大型纯解码器语言模型（LLM）是当今大多数NLP任务和基准测试中最先进的模型。然而，社区只是慢慢地将这些模型用于文本嵌入任务，这需要丰富的上下文表示。在这项工作中，我们介绍了LLM2Vec，这是一种简单的无监督方法，可以将任何仅限解码器的LLM转换为强文本编码器。LLM2Vec由三个简单的步骤组成：1）启用双向注意力，2）掩码下一个token预测，3）无监督对比学习。我们通过将LLM2Vec应用于3个从1.3B到7B参数的流行LLM来证明其有效性，并在英语单词和序列级任务上评估转换后的模型。
LARGE LANGUAGE MODELS CAN BESTRONG DIFFERENTIALLY PRIVATE LEARNERS
daxuan1881的博客
07-19 709
差分私有(DP)学习在构建文本的大型深度学习模型方面取得了有限的成功，而将差分私有随机梯度下降(DP-sgd)应用于NLP任务的直接尝试导致了较大的性能下降和高计算开销。(2)运行DP-SGD可能是内存密集型的，因为要裁剪每个示例的梯度。我们的实证研究表明，在适度的隐私预算下，直接微调预训练的DP优化模型可以在性能良好的DP语言模型中获得结果。1)我们表明，在适当的超参数和下游任务目标下，使用DP-SGD/DP-Adam进行微调的预训练语言模型在隐私级别ε∈{3,8}的一组NLP任务中产生了强大的性能。..
大型语言模型（Large Language Models，LLM）
weixin_43156294的博客
05-09 617
大型语言模型（Large Language Models，LLM）是人工智能领域中的一种技术，它们通常由数亿甚至数十亿个参数构成，能够处理和生成自然语言文本。这些模型通过在大量文本数据上进行训练，学习语言的模式和结构，从而能够执行多种语言任务，如文本生成、翻译、摘要、问答等。
大语言模型 Large Language Model | LLM
热门推荐
JasonH2021的博客
07-16 2万+
本文简单介绍了大语言模型的基本概念，发展史，重大事件，主要算法，主要应用和面临的问题及挑战等。
大型语言模型(Large Language Models)的介绍
最新发布
javaDB_EAD的专栏
09-23 1052
大型语言模型（Large Language Models，简称LLMs）是一类先进的人工智能模型，它们通过深度学习技术，特别是神经网络，来理解和生成自然语言。在大型语言模型（LLM）中，"Token"和"嵌入（Embeddings）"是两个核心概念，它们对于理解和处理自然语言至关重要。大型语言模型是人工智能领域的一个重要分支，它们的发展和应用正在不断推动语言技术的进步，同时也带来了新的挑战和伦理问题。这两个概念是构建和训练大型语言模型的基础，对于模型的理解和生成能力至关重要。第三部分：训练和微调语言模型。
什么是大语言模型？
逍遥壮士
04-02 8625
背景最近chagpt3|4非常火，导致业界很多人都觉得强人工智能很快就要取代我们这些工程师了，根据了解的确大语言模型建设的人工智能在未来的确可以取代一部分岗位，但是这是否意味着可以放慢脚步？什么是大语言模型？大语言模型 (LLM),全称：Large Language Models，LLMs， 代表着 AI 领域的重大进步，并有望通过习得的知识改变该领域。在过去几年中，LLM 的规模每年增加 10 ...
使用MATLAB的大型语言模型（LLM）Large Language Models (LLMs) with MATLAB
07-27
使用MATLAB的大型语言模型（LLM） 将MATLAB连接到Ollama（用于本地LLM）、OpenAI聊天完成API（支持ChatGPT）和AzureOpenAI服务 使用MATLAB的大型语言模型（LLM） 在MATLAB中打开文件交换上的MATLAB在线查看大型...
大语言模型综述 —— A Survey Of LLM，Large Language Models
AI天才研究院
05-29 1万+
有趣的是，当参数规模超过一定水平时，这些扩展的语言模型不仅可以实现显著的性能提升，而且还展示了小规模语言模型中不存在的一些特殊能力。最近，学术界和工业界对LLM的研究取得了重大进展，ChatGPT的推出引起了社会的广泛关注。20世纪80年代到90年代，LM的最初阶段基于传统的N-gram模型，并利用基于频率统计的方法进行训练，如Katz回退和Kneser-Ney平滑。语言建模近年来受到了广泛的研究。这些发展阶段中的新模型和算法显著提高了语言建模的准确性和可靠性，并为自然语言处理等众多应用带来了更好的效果。
大语言模型 (Large Language Models, LLM) 原理与代码实例讲解
AI天才研究院
06-10 616
大语言模型 (Large Language Models, LLM) 原理与代码实例讲解 1. 背景介绍 1.1 大语言模型的兴起 近年来,随着深度学习技术的快速发展,自然语言处理(NLP
Large Language Models Are Reasoning Teachers翻译
nopSled
02-01 359
语言模型（LMS）已在各种下游任务中表现出了出色的性能，这主要归因于由Transformer网络结构和大规模训练数据的可用性所实现的可扩展性。以前关于语言模型的工作遵循了在大型语料库进行预训练，然后在下游任务上进行微调的范式。最近，大型语言模型（LLM）已表现出其in-context的泛化能力：仅以少量上下文样例或原始任务的自然语言描述，来执行下游任务。当模型被提示以生成中间推理时，LM还表现出了解决复杂任务的能力。
Large Language Models: A New Moore‘s Law?
maxzcl的博客
11-03 468
Published October 26, 2021.Update on GitHub juliensimonJulien SimonOpinion piece A few days ago, Microsoft and NVIDIAintroducedMegatron-Turing NLG 530B, a Transformer-based model hailed as "the world’s largest and most powerful generative language m...
大型语言模型，真的能够理解人类吗？
AI科技大本营
01-25 1980
作者 |Blaise Aguera y Arcas 译者 | 弯月出品 | CSDN（ID：CSDNnews）简介大型语言模型（Large language model，简称LLM）...
GPT教程之LLMs大语言模型，Large Language Models大语言模型介绍
GPT创新工坊
07-03 429
大家或多或少都听过 ChatGPT 是一个 LLMs，那 LLMs 是什么？LLMs 全称是 Large Language Models，中文是大语言模型。那么什么是语言模型？语言模型简单说来，就是对人类的语言建立数学模型，注意，这里的关键是数学模型，语言模型是一个由数学公式构建的模型，并不是什么逻辑框架。这个认知非常重要。最早提出语言模型的概念的是贾里尼克博士。
大语言模型（Large Language Model，LLM）简介
l8947943的博客
03-24 2570
它是一种基于深度学习的人工智能模型，它从大量来自书籍、文章、网页和图像等来源的数据中学习，以发现语言模式和规则，如处理和生成自然语言文本。通常，大语言模型含数百亿（或更多）参数。
大语言模型(Large Language Models) 原理与代码实例讲解
AI天才研究院
06-12 265
1. 背景介绍 近年来，随着人工智能技术的迅速发展，大语言模型（Large Language Models）作为其中的一个重要分支，受到了广泛的关注和研究。大语言模型是一种基于深度学习的自然语言处理技术，它能够处理大规模的文本数据，并生成自然流畅的语言响应。在自然语言处理、机器翻译、问答系统、文本生成等领域都有着广泛的应用前景。本文将介绍大语言模型的
LARGE LANGUAGE MODELS ARE HUMAN-LEVEL PROMPT ENGINEERS翻译
nopSled
12-02 1946
模型规模和基于注意力网络结构的结合使语言模型具有前所未有的通用计算能力。这些所谓的“大型语言模型”（LLMS）在各种任务范围内（包括zero-shot和few-shot学习）表现出了显着的甚至是超越人类的能力。但是，有了通用性，就会出现一个控制问题：我们如何使LLMS做我们想让其做的事？为了回答这个问题，并指导LLM完成目标行为，最近的工作考虑了微调，in-context学习以及若干提示生成的形式，这包括基于软提示的可微分微调和自然语言提示工程。后者更受研究人员的关注，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值