【多模态大模型学习--NLP基础知识1】word embedding词向量嵌入与bert模型（李宏毅）

最新推荐文章于 2024-07-24 11:48:04 发布
最新推荐文章于 2024-07-24 11:48:04 发布
阅读量386 收藏 6
点赞数 6
文章标签： 自然语言处理 深度学习 embedding bert
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mugi_jiang/article/details/138271552
版权

word embedding

1-of-N encoding

在这里插入图片描述
缺陷：无法表征单词间的词义关系，如无法表示cat和dog都是动物，所以应该更接近。

Word Class

在这里插入图片描述
缺陷：太粗糙了，例如dog和cat都是哺乳动物，应该和bird有所不同。

Word Embedding

在这里插入图片描述
使用一个多维向量表示一个词汇，每个维度就是一个可分类的维度，例如是否为动物，是否为哺乳类。

一词多义的编码

一个词可能有多种语义，那给如何对应embedding？
传统做法1：一个词对应一个embedding
传统做法2：查字典，每个意思对应一种embedding
但实际生活中一个词的语义不止词典中可以查到的。

Contextualized Word Embedding

每个word token都有一个embedding

ELMO（embedding from language model）

RNN-based model training from lots of sentences
预测下一个token
在这里插入图片描述
应该选哪一层的embedding？全都用
在这里插入图片描述

α1α2是学出来的，通过下游任务学习不同的权重

Bert

Bidirectional Encoder Representation from Transformer

training

下游任务

approach1

遮住部分词，预测这个词
在这里插入图片描述

approach2

给两个句子，bert预测这两个句子是否是连在一起的
使用特殊符号SEP表示两个句子是否相连
在这里插入图片描述
两个方法是同时使用的。

How to use

case1 句子分类

在这里插入图片描述
在下游任务中，分类头从头训练，bert微调

Case2 句子中的词汇分类

在这里插入图片描述

Case3

给定两个句子（前提和假设），判断这个逻辑推理是否正确
在这里插入图片描述

Case4

在这里插入图片描述
输入一篇文章D和问题Q，输出正确答案在D中出现的位置（必然在文中出现过）
具体实现：
两个token分别表征正确答案出现位置的左边界和右边界，计算作者两个token和文章对应token的点乘结果，再取softmax结果，最高结果对应的位置的范围是所求结果（可能存在左>右，此时认为该任务无解）

同屿Firmirin
关注
  • 6
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
多模态大模型应用-本地化部署VQGAN+CLIP-不使用colab-附流程教程-优质大模型应用实战.zip
05-08
VQGAN（Vector Quantized Generative Adversarial Networks）和CLIP（Contrastive Language-Image Pretraining）是两种在图像处理和自然语言理解方面极具影响力的模型。本教程将详细讲解如何在本地环境中部署VQGAN与...
合合信息Embedding模型：引领中文文本向量化技术新高度
阿牛的博客
04-23 1万+
目前，随着 LangChain + LLM模型的火热，除了层出不穷的大模型外，因为检索的能力会很大程度影响最终的问答效果，所以文本的向量表示模型也是大家比较关注的。在人工智能的世界里，文本向量化技术是连接自然语言处理（NLP）与机器学习的桥梁。它能将复杂的文本数据转换成机器可理解的向量形式，从而使得机器能够更加高效地处理和分析文本数据。最近，合合信息发布的acge_text_embedding 句子向量模型在中文文本向量化领域取得了突破性进展，荣获MTEB中文榜单第一的成绩。
一文读懂最强中文NLP预训练模型ERNIE
PaddlePaddle
10-23 1万+
，基于飞桨开源的持续学习的语义理解框架ERNIE 2.0，及基于此框架的ERNIE 2.0预训练模型，在共计16个中英文任务上超越了BERT和XLNet, 取得了SOTA...
bert 适合 embedding 的模型
木下瞳的博客
03-27 1632
直接使用 bert 先 embedding 然后找出相似的文本，效果都不太好，试过 bert-base-chinese，bert-wwm，robert-wwm 这些，都有一个问题，那就是明明不相似的文本却在结果中变成了相似，真正相似的有没有，例如：手机壳迷你版，与这条数据相似的应该都是跟手机壳有关的才合理，但结果不太好，明明不相关的，余弦相似度都能有有 0.9 以上的，所以问题出在 embedding 上，找了适合做 embedding 的模型，再去计算相似效果好了很多，合理很多。
今天聊一聊模态嵌入的重要性
chenmuchen_的博客
08-08 60
这种通用的向量表示有助于构建更加灵活和强大的人工智能系统，能够跨越不同模态数据之间的界限，从而提高系统的性能和泛化能力。模态嵌入（Modal Embedding）是一个重要的概念，它涉及到将不同模态（例如文本、图像、音频等）的信息编码为数学向量，从而使得计算机能够更好地理解和处理这些信息。通过模态嵌入，我们可以将视频数据嵌入到通用向量空间中，并且在这个向量空间中使用文本数据，从而实现视频内容的语义理解和检索。此外，随着多模态数据的普及和应用，模态嵌入将在越来越多的领域发挥重要作用。
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
热门推荐
张俊林的博客
11-11 4万+
                                              本文可以任意转载，转载时请标明作者和出处。                                                           张俊林 2018-11-11 （如果图片浏览有问题可以转至：知乎版本） Bert最近很火，应该是最近最火爆的AI进展，网上的评价很高，那么Be...
多模态大模型应用-使用CLIP+BLIP基于图像获取提示词-Image-to-Prompt-附项目源码-优质大模型应用实战
05-08
其次，BLIP是另一个由阿里云推出的多模态预训练模型，它在CLIP的基础上进一步进行了优化，特别是在生成和理解自然语言描述方面有显著提升。BLIP模型不仅可以进行图像识别，还能生成与图像内容相关的高质量文本，这为...
多模态开集大模型-基于Yolo-world+EfficientViT-SAM实现的开集多模态目标分割大模型算法-附项目源码
07-09
多模态开集大模型_基于Yolo-world+EfficientViT-SAM实现的开集多模态目标分割大模型算法_附项目源码+流程教程_优质项目实战
多模态大模型微调-基于Lora对Qwen-VL多模态大模型进行微调-附项目源码+流程教程-优质项目实战.zip
05-16
多模态大模型微调_基于Lora对Qwen_VL多模态大模型进行微调_附项目源码+流程教程_优质项目实战
看图说话-基于CLIP实现的看图说话算法-多模态大模型应用-附项目源码+流程教程-优质项目实战.zip
06-02
本项目不仅提供了理论知识，更强调实践操作，是学习和掌握多模态大模型应用的良好平台。通过实际操作，你将深入理解CLIP模型的内在机制，提高解决类似问题的能力。此外，项目的代码结构清晰，易于理解和复用，对于...
自然语言处理(NLP)-预训练模型：别人已经训练好的模型，可直接拿来用【ELMO、BERT、ERNIE（中文版BERT）、GPT、XLNet...】
u013250861的博客
12-21 2405
预训练模型(Pretrained model)：一般情况下预训练模型都是大型模型，具备复杂的网络结构，众多的参数量，以及在足够大的数据集下进行训练而产生的模型. 在NLP领域，预训练模型往往是语言模型，因为语言模型的训练是无监督的，可以获得大规模语料，同时语言模型又是许多典型NLP任务的基础，如机器翻译，文本生成，阅读理解等，常见的预训练模型有BERT, GPT, roBERTa, transformer-XL等.
对比学习在NLP和多模态领域的应用
Kaiyuan_sjtu的博客
02-28 2318
© 作者｜杨锦霞研究方向 | 多模态引言对比学习的主要思想是相似的样本的表示相近，而不相似的远离。对比学习可以应用于监督和无监督的场景下，并且目前在CV、NLP等领域中取得了较好的性...
NLP学习—15.多模态研究方向及在文本分类、文本生成的应用
柳杰的博客
08-23 5986
文章目录一、多模态简介1.什么是多模态？2.多模态的技术点及典型应用二、在文本分类和文本生成中的应用 一、多模态简介 1.什么是多模态？   我们生活中的多模态指的是文字、文本、语音信号、图片信息、视频信息等这些模态以及更广泛的触觉、嗅觉等这些信号区都可以算作一种模态。目前在人工智能领域的多模态交互一般集中在文本、图像、视频、音频等信号的结合上面。   多模态学习(MMML)，旨在通过机器学习的方法实现处理和理解多源模态信息的能力。目前比 较热门的研究方向是图像、视频、音频、语义之间的多模态学习。 2.多模
Meta推出全新大语言模型“Llama 3.1”
weixin_41446370的博客
07-24 517
Meta公司高管表示，该模型主要用于为Meta公司内部和外部开发者的聊天机器人提供动力，并拥有广泛的新功能，包括改进的推理能力，可以帮助解决复杂的数学问题或立即提取一整本书的要点。“我认为，对于人工智能助手来说，最重要的产品将是它有多智能，”扎克伯格在接受系列节目The Circuit with Emily Chang的采访时表示，“我们正在打造的Llama模型是世界上最先进的模型。扎克伯格希望开放使用的策略将推动该公司的产品成为其他成功初创企业和产品的基础，令Meta在行业的远期发展中拥有更大的影响力。
预训练语言模型实践笔记
Everyday try to become better -Kobe Bryant
07-22 649
在使用像BERT或RoBERTa这样的transformer模型时，和是两个不同的概念。: 这是一个布尔值，决定了模型是否应该返回所有隐藏层的输出。如果设置为True，模型将返回一个元组，其中包含每一层的隐藏状态。这对于某些任务（如特征提取或fine-tuning）可能是有用的，因为不同的隐藏层可能会捕获不同类型的信息。: 这是模型的最后一个隐藏层的输出，通常用作下游任务的输入（如文本分类或命名实体识别）。这是模型的主要输出，通常包含了输入序列的高级表示。在大多数情况下，您只需要。
什么是大型语言模型 (LLM)
最新发布
2401_86189137的博客
07-24 1145
大型语言模型是一种人工智能算法，它应用具有大量参数的神经网络技术，使用自监督学习技术来处理和理解人类语言或文本。文本生成、机器翻译、摘要写作、文本图像生成、机器编码、聊天机器人或对话式人工智能等任务都是大型语言模型的应用。此类 LLM 模型的示例包括 Open AI 的 Chat GPT、Google 的 BERT（来自 Transformers 的双向编码器表示）等。有许多技术尝试执行与自然语言相关的任务，但 LLM 纯粹基于深度学习方法。
Meta发布Llama 3.1开源大语言模型；谷歌发布NeuralGCM AI天气预测模型
haleycat的博客
07-24 814
Meta正式发布了开源大语言模型Llama 3.1，包括8B、70B和405B参数版本。Llama 3.1在推理能力和多语言支持方面有所改进，上下文长度提升至128K，405B参数版本可媲美GPT-4等领先闭源模型。该模型已开放下载，并获得AWS、英伟达等多家合作伙伴支持。在多个关键AI基准测试中，这一开源模型的性能超越了OpenAI的GPT-4o，标志着开源AI的重要里程碑。然而，Llama 3.1在HumanEval和MMLU-social sciences方面仍有所不足。
大语言模型-GPT-Generative Pre-Training
weixin_42045968的博客
07-23 716
GPT是2018 年 6 月由OpenAI 提出的预训练语言模型。 GPT可以应用于复杂的NLP任务中，例如文章生成，代码生成，机器翻译，问答对话等。 GPT也采用两阶段的训练过程，第一阶段是无监督的方式来预训练生成式的语言模型，第二阶段根据特定任务进行微调。 GPT的网络架构使用的是多层Transformer Decoder改的结构。
GPT-4V：多模态通用智能与视觉参考提示
"GPT-4V说明书中文版详细解析了这款多模态大模型的用法、性能、提示词技巧及其研究与落地潜力。" GPT-4V是一款先进的多模态模型，它不仅能够理解和生成文本，还能处理图像信息，从而在视觉理解、视觉描述、多模态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值