NLP-分布表示(distributional representation)与分布式表示(distributed representation)

最新推荐文章于 2025-05-08 07:30:00 发布
最新推荐文章于 2025-05-08 07:30:00 发布
阅读量9.6k 收藏 23
点赞数 6
分类专栏： NLP之路 文章标签： distributed representation distributional representatio
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/spring_willow/article/details/81452162
版权
分布表示关注上下文概率分布，分布式表示强调信息在向量维度上的分布。两者常用于词向量模型，如Word2vec，其中分布式模型可视为分布表示的一种形式。虽然概念有时混用，但它们在表示方式上有所区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写论文好纠结这两个东西的概念。。。现对网上查到的资料进行以下整理。。。

distributed representation&distributional representation

1.关于Manning 在2015 年深度学习暑期学校（蒙特利尔）的澄清

Distributed: A concept is represented as continuous activation levels in a number of elements. Like a dense word embedding, as opposed to 1-hot vectors.
Distributional: Meaning is represented by contexts of use. Word2vec is distributional, but so are count-based word vectors, as we use the contexts of the word to model the meaning.

含义
  • Distributed：分布式描述的是若干元素的连续表示形式，如稠密的词嵌入向量表示，与之相反的是独热向量。
  • Distributional：使用词语的上下文来表示其语义，Word2vec和基于计数的词向量表示都是分布表示，
最低0.47元/天 解锁文章
Week 7 - Distributional Representations（分布表示）
金州饿霸吃不饱的博客
08-02 869
Distributional Representations（分布表示）
《自然语言处理实战入门》第二章：NLP 前置技术 ---- NLP开源工具包与云服务提供商
shiter编写程序的艺术
07-20 1000
文章大纲NLTKGensimStanfordNLPSpacy参考文档 在1.3小结我们已经简要介绍了一些知名中文NLP开源组件与服务提供商，目的是直观认识NLP的常用技术手段和应用场景进行概述知识导入。本小节针对NLP 常见处理流程中经常用到的开源包与云服务提供商进行介绍。 图 自然语言处理一般建模流程 大部分的中文nlp 开源包，我都在 中文分词原理及 相关章节有所罗列和介绍 中文分词原理及相关组件简介 之 ---- 分词领域主要分词算法、组件、服务（上） 中文分词原理及相关组件简介 之 ----
Distributed representation, Hyperbolic Space, Gaussian/Graph Embedding 详细介绍
Jay_Tang的博客
04-17 1409
往期文章链接汇总 Overview of various word representation and Embedding methods Local Representation v.s. Distributed Representation One-hot encoding is local representation and is good for local generalizati...
distributional representation（分布表示）和distributed representation（分布式表示）
出门左拐是海的博客
03-12 691
**1.**分布表示（distributional representation）：分布描述的上下文的概率分布，即用上下文描述语义的表示方法都可以称作分布表示。与之相对的是形式语义表示。 **2.**分布式表示（distributed represention）：分布式描述的是把信息分布式地存储在向量地各个维度，相对的是局部表示，如独热表示（只存在一个维度）。一般来说，通过矩阵降维或神经网络降维可以将语义分散存储到向量的各个维度中，因此，这类方法得到的低维向量一般都可以称作分布式表示。 ...
深入理解Embedding Models（嵌入模型）：从原理到实战（上）
最新发布
博客虽小，世界尽在其中
05-08 3148
本文系统性地介绍了嵌入模型（Embedding Models）的基本原理、主要类型及其在各类实际场景中的广泛应用。从词向量如 Word2Vec、GloVe，到文本、图结构、跨模态嵌入模型，再到与大模型（LLM）融合的最新趋势，文章不仅解析了嵌入模型在构建语义理解、特征压缩、相似性计算等任务中的核心价值，还结合检索系统、推荐系统、知识图谱等工程实践，剖析了嵌入模型的训练方法、评估方式与落地策略。适合希望深入理解嵌入技术、构建语义驱动系统的开发者和研究者阅读。
分布表示（distributional representation）与分布式表示（distributed representation）
david0611的博客
06-14 2万+
分布表示（distributional representation）与分布式表示（distributed representation） 说在前面：真不是绕口令。 分布表示（distributional representation） 分布表示（distributional representation）：是基于分布假设理论，利用共生矩阵来获取词的语义表示，可以看成是一类获取词...
分布表示和分布式表示
HWP
07-13 1455
分布表示：是基于分布假设理论，利用共生矩阵来获取词的语义表示，可以看成是一类获取词表示的方法。用上下文描述语义的表示方法（或基于分布假说的方法）都可以称作分布表示，如： 潜在语义分析模型（Latent Semantic Analysis, LSA） 潜在狄利克雷分配模型（Latent Dirichlet Allocation，LDA）等。 分布式表示：把文本分散嵌入到另一个空间，一般是从高维空间嵌入到低维空间。 ...
分布式表示（distributed representations）
qq_42597391的博客
12-12 701
one-hot encoding，分布式表示，词嵌入
自然语言处理-分布表示
沉香屑_的博客
07-20 8859
自然语言处理 分布式表示
论文笔记 | code representation（代码表示学习）系列
Firmiana1220的博客
01-31 6477
文章目录Associating Natural language comment and source code entities研究动机本文方法Deep Learning Similarities from Different Representations of Source Code研究动机具体方法实验部分Learning Semantic Vector Representations of Source Code via a Siamese Neural Network研究动机具体方法实验部分数据N
2-知识图谱-知识图谱表示-3-向量表示方法
寓教于乐。教己助人
02-19 817
每个词向量的大小，是词典的大小词典中有 n 个词，就是一个 n维数组表示。每个词所在的词典的位置，这个n维数组对应位置就是1，其他位置为0，用来表示这个词缺点：空间消耗大。
共现矩阵
热门推荐
Jiashilin
08-02 2万+
共现矩阵 主要用于发现主题，解决词向量相近关系的表示； 将共现矩阵行(列)作为词向量 例如：语料库如下： • I like deep learning. • I like NLP. • I enjoy flying. 则共现矩阵表示如下：（使用对称的窗函数（左右window length都为1) ） 例如：“I like”出现在第1，2句话中，一共出现2次，所以=2。 对称的...
【word2vec】Distributed Representation——词向量
weixin_34018202的博客
03-27 315
　　Distributed Representation 这种表示，它最早是 Hinton 于 1986 年提出的，可以克服 one-hot representation 的缺点。 其基本想法是： 　　通过训练将某种语言中的每一个词映射成一个固定长度的短向量（当然这里的“短”是相对于 one-hot representation 的“长”而言的），将所有这些向量放在一起形成一个词向量空...
NLP模型笔记 — 分布式表示
ziuno的博客
03-08 4339
NLP模型笔记 — 分布式表示 [总结] 概念 名称 分布式表示 别名 Distributed representation 介绍 若干元素的连续表现形式，将词的语义分布式地存储在各个维度中，与之相反的是独热向量。 原理 非分布式表示 图形 水平矩形 垂直矩形 水平椭圆 垂直椭圆 水平矩形 1 0 0 0 垂直矩形 0 1 0 0 水平椭圆 0...
什么是 distributed representation
weixin_30300523的博客
05-26 314
在以下文章中， UNDERSTANDING HOW DEEP BELIEF NETWORKS PERFORM ACOUSTIC MODELLINGAbdel-rahman Mohamed, Geoffrey Hinton, and Gerald PennDepartment of Computer Science, University of Toronto 作者对distribu...
翻译：Distributed Representations of Words and Phrases and their Compositionality
新垣结衣法定男友的博客
08-02 1万+
原文：《Distributed Representations of Words and Phrases and their Compositionality》 原作者：Tomas Mikolov等摘要最近引入的连续Skip-gram模型是学习高质量distributed vector representations(分布向量表示)的有效方法，distributed vector represen
[NLP论文阅读]Distributed Representations of Sentences and Documents
jx00109的博客
04-09 2252
句子、文档的分布式表示 论文阅读
表示学习（Representation Learning）之局部表示（Local Representation）与分布式表示（Distributed Representation）
zxhohai的博客
03-25 6426
一个良好的表示是内容充分高效表达的基础，作为沟通计算机与现实世界的桥梁，计算机行业人员每时每刻都在研究事物的表示。比如：编程语言，早期的机器语言和现在的高级程序语言可以看作是指令的两种不同表示方式，从可读性方面评价，两者的表达能力相差甚远。再比如：数据结构，其研究的正是数据在计算机中的高效表达与存储，如下图所示，我们可以采用链表和红黑树两种不同的数据结构对有序表进行存储。 在对有序表进...
词向量—分布式表示方法
weixin_43979941的博客
03-26 3269
一、为什么不能用one-hot 在用one-hot表示单词的时候，用欧氏距离或者余弦相似度计算句子的相似度容易陷入所有的相似度的值相等，无法进行判断的情况，不能表示语义的相似度。因为向量的大小与词的大小是有相关性的，有稀疏性的特征 二、分布式表示方法 三、怎么训练分布式表示方法 四、怎么用词向量表达句子向量 ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值