李宏毅《Machine Learning》笔记 -- 无监督学习--word embedding

最新推荐文章于 2025-05-07 22:22:20 发布
原创 最新推荐文章于 2025-05-07 22:22:20 发布 · 284 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文探讨了词向量的生成方法，包括one-hot编码、word embedding、基于词共现的GloVe向量及预测型模型。讨论了CBOW、skip-gram等算法，并延伸到多语言、文档及语义嵌入，强调了超越词袋模型的重要性。

 

1-of-N encoding (one hot)

--> word embedding

count based: 基于词共现 如glove vector

prediction based:

training， 预测下一个词汇。用于language modeling，预测一个句子出现的几率。

取出第一层参数 可作为词向量 不用deep原因 是不需要 不用还可以很快

CBOW 和 skip-gram

multi-lingual embedding

document embedding

semantic embedding

Beyond bag of word  the order of the words cannot be ignored

 

 

 

 

李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN
⚡
08-13 5443
包含李宏毅机器学习视频P17-P23的课程梗概
【李宏毅机器学习笔记】11、 Semi-supervised
ACL_lihan的博客
02-21 1201
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient descent 【李宏毅机器学习笔记】4、Classification 【李宏毅机器学习笔记】5、Logistic Regression 【李宏毅机器学习笔记】6、简短介绍Deep Learning 【李宏毅机器学习笔记】7、反向传播...
李宏毅：Word Embedding
qq_42146775的博客
07-08 361
1-of-N Encoding 每个单词用一个vector代替，世界上有多少个word，vector有多少个维度 这样的vector得不到任何的联系，比如bag和cat你无法知道都是动物 解决：使用word class 但是光用class是不够的，我们少了一些信息，class1和class2代表动物和动物可以做的动作，这一层也没有体现出来 解决：Word Embedding，它每一个word project一个高维度的space上面（维度往往比1-of-N Encoding维度低）,我们使得接近的词汇位置
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入）
Holeung blog
06-16 3419
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入） PDF VIDEOWord Embedding Word Embedding 是前面讲到的dimension reduction一个很好的应用。 1-of-N Encoding，是把所有的word用一个向量表示，每个向量都不一样，我们没办法
【台大李宏毅ML课程】Lecture 14 Word Embedding笔记
code_caq的博客
03-22 1797
本节课主要讲了无监督学习——word embedding的一些基本概念 1.word embedding（word2vector） 传统的1 of N encoding（或者one-hot独热编码）的表示法过于稀疏，不可取。所以考虑将每个word映射到另一个空间里去 machine通过阅读很多documents来理解语义，从而可以达到word embedding的目的 2.How ab...
李宏毅深度学习--《Unsupervised Learning: Word Embedding》
GuoShao_的博客
09-15 546
学习笔记
机器学习中的Embedding
深藏功与名
10-17 5770
来自知乎的一个解释：（版权归原作者所有，仅供学习，禁止商用） https://zhuanlan.zhihu.com/p/46016518 解释还是有点感觉迷糊，数学解释： Embedding在数学上表示一个maping, f: X -> Y， 也就是一个function，其中该函数是injective（就是我们所说的单射函数，每个Y只有唯一的X对应，反之亦然）和st...
李宏毅《Machine Learning》笔记 -- transfer learning
weixin_39847930的博客
09-22 249
应用场景 Data not directly related to the task considered Conservative Training or layer Transfer 保守训练，或者fine-tune的时候 只调某个layer的参数 speech 通常只调前几层 一般一个 image通常只调最后几层 multitask learning ...
迁移学习系列笔记（一）—— 李宏毅Machine Learning2017笔记
qq_41835091的博客
12-25 399
迁移学习Transfer LearningThe aim for Transfer Learning and ExampleAimExampleWhy Transfer Learning？Transfer Learning - Overview (Four Class)Class1: source->labelled, target->labelledModel Fine-tuningConservative TrainingLayer TransferMultitask LearningPro
笔记：ML-LHY： 李宏毅 (Hung-yi Lee) Machine Learning (2017,Spring) 总结
upup
10-31 1281
ML-LHY-1 Regression 机器学习最简单的入门算法就是线性回归了，从这里出发开始学习机器学习 本节课主要介绍使用梯度下降方法求解线性回归 机器学习解决方法建模常规分为3个步骤： 1.确定目标函数，其中带有未知参数θ\thetaθ 2.如何表达参数θ\thetaθ对模型影像，即损失函数的确定，在参数θ\thetaθ确定的目标函数下与真实值的差异 3.找到最符合数据的目标函数的参数θ\thetaθ，例如使用：梯度下降 梯度下降概念和原理，正则化防止过拟合 pdf 视频 ML-LHY-2 Wh
李宏毅2020机器学习深度学习(4) Word Embedding
梆子井欢喜坨的博客
11-03 432
目录
机器学习入门17 - 嵌套 (Embedding)
weixin_33881140的博客
02-02 605
原文链接：https://developers.google.com/machine-learning/crash-course/embeddings/ 嵌套是一种相对低维的空间，可以将高维矢量映射到这种低维空间里。通过使用嵌套，可以让在大型输入（比如代表字词的稀疏矢量）上进行机器学习变得更加容易。在理想情况下，嵌套可以将语义上相似的不同输入映射到嵌套空间里的邻近处，以此来捕获输入的语义。一个模...
机器学习之嵌入(Embeddings)：从理论到实践
最新发布
青蛙博客
05-07 689
本文深入探讨了机器学习中嵌入(Embeddings)的概念和应用。通过具体的实例和可视化展示，我们将了解嵌入如何将高维数据转换为低维表示，以及这种转换在推荐系统、自然语言处理等领域的实际应用。文章包含交互式练习，帮助读者更好地理解嵌入的工作原理
8.3-无监督学习-词嵌入
weixin_46227276的博客
12-31 354
你会希望说，狗的vector分布在狗的周围，马的vector散布的马的周围，车辆的vector散布在auto的周围。这个方法的原则是这样，假设我们知道w_iwi的word vector是V(w_i)V(wi),w_jwj的word vector是V(w_j)V(wj),我们可以计算V(w_iwi,)V(w_jwj)它的inner product，假设N_{i,j}Ni,j是w_iwi,w_iwi他们在同一个document的次数，那我们就希望这两件事情（内积和同时出现的次数）越接近越好。
李弘毅机器学习笔记：第十六章—无监督学习
fly975247003的博客
09-29 1302
李弘毅机器学习笔记：第十六章—无监督学习1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入具体步骤共享参数训练Various Architectures多语言嵌入多域嵌入文档嵌入语义嵌入Beyond Bag of Word 1-of-N Encoding word embedding是dimension reduction的一个广为人知的应用。如果今天要你用一个vector来表...
DL_RNN_DAY7
tjjyqing的博客
03-17 259
RNN 1-of-N encoding 有些类似one-hot编码，将文本的类型转换为能够机器学习的向量类型进行输入。 除了上面的编码方式外，还有其余两种。左边是处理库存里面没有单词的方法，右边是根据单词类型进行编码。 store 循环神经网络RNN在DNN之外加入了可以存储之前输入信息的空间。这种情况下，神经网络会保持对之前数据的记忆。这样的话，输入的顺序会改变训练的效果。处理上下有关联的信息，比如文本信息是很有用的。 example deep RNN 加深的话就直接加上几个隐含层了，每个神经元都
深度学习：1-of-N 编码详解
m0_73640344的博客
11-06 564
1-of-N 编码，也称为独热编码（One-Hot Encoding），是一种常用于处理分类变量的编码技术。在此编码方案中，每个类别被表示为一个长度等于类别数目的二进制向量，其中一个元素设为1，其余元素均设为0。这种表示方式的主要目的是将非数值类型的标签转换为机器学习算法能够处理的数值格式。
（2020李宏毅）机器学习-无监督学习-词嵌入
顾道长生的科研笔记
10-11 484
文章目录1-of-N Encoding词嵌入基于计数的词嵌入基于预测的词嵌入共享参数多语言嵌入文档嵌入 1-of-N Encoding word embedding是dimension reduction的一个广为人知的应用。 1-of-N Encoding:用一个vector来表示word word Embedding：把每一个word都project到high dimension sapce上面(但是远比1-of-N Encoding的dimension要低，比如说有10w个word，那1-o.
数据预处理：独热编码（One-Hot Encoding）
热门推荐
皮皮blog
03-10 7万+
在很多任务中，特征并不总是连续值，而有可能是分类值。例如，考虑一下的三个特征：如果将上述特征用数字表示，效率会高很多。例如：["male", "from US", "uses Internet Explorer"] 表示为[0, 1, 3]["female", "from Asia", "uses Chrome"]表示为[1, 2, 1]但是，即使转化为数字表示后，上述数据也不能直接用在我们的分类器中。
李宏毅课程：2-Classification深度学习分类
分类是机器学习中的一个核心概念，它属于监督学习的范畴。在分类任务中，算法根据一组输入特征来预测输出类别标签。分类可以分为二分类（binary classification），多分类（multiclass classification），以及多标签...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值