基于Huffman树的CBOW模型的理解

最新推荐文章于 2023-08-03 21:12:03 发布
最新推荐文章于 2023-08-03 21:12:03 发布
阅读量2k 收藏 5
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011734144/article/details/78674219
版权








上面是从如下地址中截取的内容：https://www.zybuluo.com/Dounm/note/591752#mjx-eqn-eq4


下面说下我对它的理解


还是以“今天  我   和  小明  去   北京   玩” 这句为例

输入层： “小明”的前后三个词向量，即首先要把这些词全部表示成向量

投影层： 将这写词的向量求和，得到的结果就是：


将投影层的向量输入到哈夫曼树中

哈夫曼树怎么来的？ 将语料库中词以及词出现的频率构造一颗哈夫曼树，默认左边(编码为0)是负类，右边(编码为1)

最低0.47元/天 解锁文章
生活不只*眼前的苟且
关注
专栏目录
利用BERT进行命名实体识别(NER)
程序员光剑
08-15 2434
命名实体识别 (Named Entity Recognition, NER) 是自然语言处理 (Natural Language Processing, NLP) 中的一项基础任务，旨在识别文本中代表命名实体的词语或词语序列，并将其分类到预定义的类别，例如人名、地名、机构名、时间、日期等。NER 是许多 NLP 应用的重要组成部分，例如信息提取、问答系统、机器翻译和文本摘要等。传统的 NER 方法通常依赖于手工设计的特征和领域特定的规则，这些方法需要大量的专家知识，并且难以推广到新的领域或语言。
词向量：对word2vec的理解
热门推荐
lpty的博客
12-11 1万+
一、词向量 在自然语言处理中，需要把自然语言转化为计算机可以理解的形式，一般采用向量空间模型（VSM）进行表示，在这里就是词向量。 1、one-hot词向量 在中文处理中，将分词的结果经过降噪等预处理后，选择出来的特征在进行权重计算时，采用布尔权重，就能够得到one-hot词向量。 从表现形式上来看，向量的长度是词典的大小V，同时它的分量只有一个是1，其他全是0，1的位置对应词在词典中的索
基于哈夫曼树的文件压缩
puyv_1111的博客
07-15 2752
一个编程小白成功的完成了哈夫曼树的文件压缩，过程可以说是很艰辛了。好啦~废话就不多说了，下面开始正式的讲解，过程+代码。工具：Dev-c++ 语言：C++刚开始我拿到这个题目，真心是蒙啊，因为我连什么是哈夫曼都不知道（可以看出我是小白了吧）。先说一下整个过程:1.从文件中读取叶子个数，及权值（即相同字母的个数）。比如说文件中内容是abcdabcaba,叶子个数为4，分别是a,b,c,d,权值依次为...
数据结构和算法系列16 哈夫曼树
weixin_30457551的博客
09-19 103
这一篇要总结的是树中的最后一种，即哈夫曼树，我想从以下几点对其进行总结： 1，什么是哈夫曼树？ 2，如何构建哈夫曼树？ 3，哈夫曼编码？ 4，算法实现？ 一，什么是哈夫曼树 什么是哈夫曼树呢？ 哈夫曼树是一种带权路径长度最短的二叉树，也称为最优二叉树。下面用一幅图来说明。 它们的带权路径长度分别为： 图a： WPL=5*2+7*2+2*2+13*2=54 图b： ...
基于哈夫曼树的文本压缩
Ziyang的博客
06-02 838
概览 本文原载于我的博客，地址：https://blog.guoziyang.top/archives/24/ 哈夫曼树也称为最优二叉树,是加权路径长度最短的二叉树。权值越大的叶子结点越靠近根结点，而权值越小的叶子结点越远离根结点。每一个父节点的权值等于子节点的权值之和。 可以这么说，哈夫曼树中，真正有效的、存储着数据的，只有那些叶节点，而其它节点仅仅是为了构造树结构、以及保持总权值最小而存在的。 那么问题是，哈夫曼树和文本压缩有什么关系呢？这就不得不提到文本编码问题。 编码与哈夫曼树 编码（主要是二进制
NLP自然语言处理：文本表示总结 - 上篇word embedding（基于降维、基于聚类、CBOW 、Skip-gram、 NNLM 、TF-ID、GloVe ）
陈宸的博客
08-30 4028
文本表示分类（基于表示方法） 离散表示 one-hot表示 词袋模型与TF-ID 分布式表示 基于矩阵的表示方法 降维的方法 聚类的方法 基于神经网络的表示方法 NNLM CBOW Skip-gram GloVe ELMo GPT BERT 目录 一、文本离散表示 1.1 文本离散表示：one-hot ...
学习笔记：深度学习（6）——基于深度学习的语言模型
Morganfs的博客
04-25 1509
预训练模型梳理：从NNLM到词嵌入、从ELMo到GPT&BERT，以及After GPT&BERT。
霍夫曼树——创建霍夫曼数及其部分应用
07-27
创建霍夫曼数及其部分应用： 定义一个霍夫曼树的结构 根据给定的字符集创建哈夫曼树 统计字符在文件中出现的次数，并作为该字符的权进行霍夫曼编码。
自然语言处理：CBOW（哈夫曼树）与Skip-Gram模型
qq_41627642的博客
02-05 2207
自然语言处理：CBOW（哈夫曼树）与Skip-Gram模型 gensim库中的word2vev中模型主要使用了CBOW（哈夫曼树）与Skip-Gram模型。CBOW表示基于上下文来预测目标词，即输入是2c个上下文词（c表示窗口大小），输出是目标词的概率；Skip-Gram则是恰恰相反，输入是当前的目标词，输出则是上下文词的概率。 在确定了输入输出之后，其实训练的方式也就很明显了，（例如CBOW）输...
数据结构—哈夫曼树及其应用
最新发布
Nancy的博客
08-03 1388
哈夫曼树的基本概念以及构造算法的实现
霍夫曼树的应用
努力奋斗才能梦想成真
08-19 973
霍夫曼树的具体证明在离散数学书上有，我总结大意如下： 我们平常查询单词的时候，总会有一些词查询的频率高，一些词查询的频率低，如果建立一棵树来查询，应该使那些经常查询的码（信息经过无损压缩后）的深度尽量小，这样，既省时间，又省空间。同样的前缀码会有不同的树权，树权最小的树就称为最优树，所以，对于英文字母的最佳编码问题就是求最优树 的问题。霍夫曼树每次贪心取最小的两片叶子，让他们成为兄弟，并成一棵树
哈夫曼树及其应用
qq_42096498的博客
06-21 2373
哈夫曼树又称为最优树，是一种带权路径长度最短的树，有着广泛的应用。我们先讨论哈夫曼树的概念，然后讨论它的应用：最佳判断过程和哈夫曼编码。
002-词向量，神经网络模型，CBOW，哈夫曼树，Negative Sampling
weixin_30509393的博客
10-20 527
词向量： 无论是一段话或是一篇文章，词都是最基本的组成单位。 如何让计算机利用这些词？ 重点是如何把一个词转换成一个想向量 如果在一个二维空间中，had，has，have意思相同，所以要离的比较近。 need，help也是离的比较近 要表现出相同，相关。 比如说下面的例子： 哪些词离青蛙frog比较近？同义词 对于两种不同语言，建模...
哈夫曼树学习小记
Cold_Chair的博客
08-24 2159
B组又现我不会的神奇东西了……定义：现在有n个元素，每个元素有一个值。 你需要把这n个元素放在一棵二叉树的叶子节点上，规定每个元素的代价为它所在叶子节点的深度乘上它的值，哈夫曼树就是使总代价最小的这样一棵树。运用：据说哈夫曼树是一棵最佳判定树，什么意思呢？举一个实例来看看。问题：给出一群学生的成绩，要你判断每个学生的成绩情况（不同分数段有不同的评价）。解法：这是一道信息学入门题，一贯的做法是打一坨
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值