优化算法进阶 & word2vec & 词嵌入进阶

最新推荐文章于 2024-01-18 17:05:17 发布
最新推荐文章于 2024-01-18 17:05:17 发布
阅读量727 收藏
点赞数
分类专栏： 动手学深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/G_B_L/article/details/104439649
版权

问答学习，自问自答~

目录

一 优化算法进阶

什么是ill-condition？如何判断出现了ill-condition?有什么危害？

如何应对ill-condition？

什么是Momentum方法(SGD Momentum)，其数学原理是什么？(hint:指数加权移动平均)

有哪些自适应学习率方法？

二 word2vec

相比于使用 one-hot 向量表示词语，embedding的优点和缺点是什么？

三 词嵌入进阶

子词嵌入(fastText)

全局向量的词嵌入(GloVe)

一 优化算法进阶

  • 什么是ill-condition（病态条件）？如何判断出现了ill-condition?有什么危害？

在凸优化中，病态条件指的是Hessian矩阵H的病态。在聊病态条件之前，需要了解下矩阵条件数。

病态条件是指矩阵H的条件数（最大特征值/最小特征值）很大。

举个例子，特征是X=[x_1,x_2]^T，目标值是f(x)=0.1x_1^2+2x_2^2，则Hessian矩阵为

                                                   H=\bigl(\begin{smallmatrix} \frac{\partial ^2f}{\partial x_1^2} & \frac{\partial ^2f}{\partial x_1 x_2} \\\ \frac{\partial ^2f}{\partial x_2 x_1} & \frac{\partial ^2f}{\partial x_2^2} \end{smallmatrix}\bigr) =\bigl(\begin{smallmatrix} 0.2 & 0\\\ 0 &4 \end{smallmatrix}\bigr)

其条件数是4/0.2=20，所以H的病态的。

病态条件会有什么危害呢？可以看到，在x1轴和x2轴上的梯度不在一个量级，学习率决定了学习的快慢，过大会越过最优点，过小则会收敛很慢，因此，如果我们在两个轴采用相同的学习率，会出现问题，若是采用较小的学习率，x2轴可以正常收敛，但x1轴会收敛很慢；若是采用较大的学习率，x1轴可以正常速度收敛，但x2轴会越过最优点。

  • 如何应对ill-condition？

1 动量法，当历史梯度方向与当前梯度方向一致时，那么趋势会增强，加快收敛，否则，趋势被减弱。该方法可以提供一个好的更新方向，因此可以使用较大学习率来加快收敛。

2 自适应学习率，即在不同的轴上采用不同的学习率。

  • 什么是Momentum方法(SGD Momentum)，其数学原理是什么？(hint:指数加权移动平均)

动量一词来源于物理学，动量法指的是维持惯性，即梯度不止是包括当前步的梯度，还会考虑以往步的梯度。其数学原理就是指数加权移动平均。

                                   

【类似于但不同于Momentum方法，Nesterov accelerated gradient （NAG）算法先在历史梯度方向上走一步，按照前面一小步的“超前梯度”来与历史梯度合并，使得小球具有“超前眼光”，更加“聪明”。】

  • 有哪些自适应学习率方法？

自适应学习率的思想是特别关注更新少的变量，如果一个变量在历史中梯度和很小，那么会给予这个变量更大的学习率。

AdaGrad:大的梯度处，小的学习率，即让最终的步长差不多大。

此算法的缺点是，st随更新次数累加到一定程度会梯度为0，不再更新，小的学习率容易收敛到非极值点，大的学习率又是非常危险的，因为无法确定实际问题中的优化曲面长啥样。

RMSProp：对AdaGrad做了修改，并没有对历史梯度一直累加，而是用了指数加权移动平均，过早的梯度会被遗忘掉，解决了AdaGrad梯度消失的问题。

AdaDelta：与RMSProp不同的是，无需使用者指定全局学习率，而是算法计算出来的，此方法只有一个超参数

Adam：Momentum和RMSProp的结合体，并对EMA权重进行了无偏操作。良好性质是adam有很强的rescale性质，可以使得模型以一个很正的方向来更新参数，但也带来一些可能不收敛的问题，有的论文专门剖析了Adam的优缺点《On the Convergence of Adam and Beyond》.

            Adam对大小相差很大数量级的梯度都可以rescale到相近的大小（Adam算法中的 mt​ 和 vt​ (原文符号)分别是梯度的一阶矩和二阶矩估计，二者相除，可以使更新量rescale到1的附近。）

             mt​ 和 vt​ 均使用了EMA（指数移动平均Exponential Moving Average），但是二者的衰减参数并不相同

 

二 word2vec

  • 相比于使用 one-hot 向量表示词语，embedding的优点和缺点是什么？

优点：训练好的词向量中能够包含更多语义信息，词向量的维度是可以自由设定的（本质上说，词嵌入是一个降维操作）

缺点：词嵌入模型首先需要在大规模语料库上进行训练，才能得到更有意义的词向量，其次在后续模型的训练过程中，可能还需要进行进一步的模型参数优化，所以在实现和使用上，都是比 one-hot 向量更复杂的

 

词嵌入模型的训练本质上是在优化模型预测各词语同时出现的概率，其他word2vec的相关总结可移步Word2Vec原理

三 词嵌入进阶

一些对word2vec的改进算法

  • 子词嵌入(fastText)

  • 全局向量的词嵌入(GloVe)

GloVe 使用了非概率分布的变量，并添加了中心词和背景词的偏差项，这样做是在松弛概率的规范性，即各个概率事件的概率和加起来等于1

GloVe 使用了一个单调递增的权重函数来加权各个损失项

在有些情况下，交叉熵损失函数有劣势，GloVe 使用了平方损失函数

GloVe 的损失函数计算公式中用到了语料库上的全局统计信息

gbl5555
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
优化进阶、word2vec、词嵌入进阶
weixin_37461330的博客
02-19 383
一、优化进阶 目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降也叫作最陡下降（steepest descent）。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。对于noisy gradient,我们需要谨慎的选取学习率和batch size, 来控制梯度方差和收...
优化算法进阶;word2vec；词嵌入进阶
loveheart123的博客
02-25 466
目录 优化算法进阶 An ill-conditioned Problem Maximum Learning Rate Supp: Preconditioning Solution to ill-condition Momentum Algorithm Exponential Moving Average Supp 由指数加权移动平均理解动量法 Pytorch Class AdaGrad Algor...
word2vec词嵌入简介
06-13
词嵌入直观认识、基本原理、word2vec优化介绍、最后提出了一些基本实验
matlab有些代码不运行-word2vec_matlab:word2vec_matlab
05-23
matlab有些代码不运行word2vec_matlab Google在Matlab中预先训练的word2vec模型 通过该项目，您可以在Matlab中使用Google在庞大的Google新闻数据集上训练的word2vec模型。 重要说明：请注意，该项目当前确实提供了训练word2vec模型的任何功能。 它只是为您提供经过预先训练的Google模型，并演示了您可以使用此模型完成的一些基本技巧，例如识别相似的单词，识别哪个单词不属于一组单词或完成类推。 如果您有兴趣在自己的文本语料库上训练word2vec模型，建议您查看Python中的gensim包。 原始模型可以在此处公开获得。该模型包含300万个单词的词汇表； 但是，大多数都是垃圾。 我已经过滤掉了大约200,000个单词。 word2vec子目录包含一些用于模型播放的Matlab函数。 编写它们的目的是提供对这些技术的清晰说明。 您可以查看并运行runExample.m以查看这些单词向量的示例用法。 词汇过滤 我通过查找WordNet中的所有单词来过滤原始词汇-我仅保留WordNet中存在的单词。 这样可以将词汇量减少到大约200
NLP之Word2Vec【CBOW/Skip-Gram】：《Efficient Estimation of Word Representations in Vector Space向量空间中词表示的有
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-15 1万+
​ NLP之Word2Vec【CBOW/Skip-Gram】：《Efficient Estimation of Word Representations in Vector Space向量空间中词表示的有效估计》翻译与解读 《Efficient Estimation of Word Representations in Vector Space》翻译与解读 地址 论文：https://arxiv.org/abs/1301.3781 时间 2013年1月16日 作者 Googl
Word2vec学习
qq_45339371的博客
08-13 288
翻译文档，以便之后查看 1、word2vec模型 classgensim.models.word2vec.Word2Vec(sentences=None, corpus_file=None, vector_size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=0.001, seed=1, workers=3, min_alpha=0.0001, sg=0, hs=0, negative=5, ns_exponent
Task 07- 进阶优化算法-Word2Vec-词嵌入进阶
qq_35489107的博客
02-24 197
Task 07- 进阶优化算法-Word2Vec-词嵌入进阶
DL-Pytorch Task07:优化算法进阶；word2vec；词嵌入进阶
DEREKLN的博客
02-22 416
目录优化算法进阶An ill-conditioned ProblemMaximum Learning RateSupp: PreconditioningSolution to ill-conditionMomentum AlgorithmExponential Moving AverageSupp由指数加权移动平均理解动量法Pytorch ClassAdaGradAlgorithmFeatureP...
NLP word2vec 计算优化
09-16 137
为什么要负采样 加快计算速度，如果不用就需要全量更新隐藏的矩阵，维度太大（比如10w个单词，每个单词映射为300维，那么就是10w*300维矩阵，每次都要更新一遍） 负采样是什么
词嵌入（word2vec）
最新发布
04-20
word2vec的实现过程，包含原始数据的处理和词向量的训练
text-cnn：嵌入Word2vec词向量的CNN中文文本分类
02-06
使用CNN和Word2vec进行文本分类本文是参考gaussic大牛的“ text-classification-cnn-rnn”后，基于同样的数据集，嵌入词级别操作的CNN文本分类实验结果，gaussic大牛是基于字符级的；进行了第二版的更新：1。加入...
Word Word2Vec
01-06
词嵌入（Word Embedding）或者分布式向量（Distributional Vectors）是将自然语言表示的单词转换为计算机能够理解的向量或矩阵形式的技术。由于要考虑多种因素比如词的语义（同义词近义词）、语料中词之间的关系（上...
机器学习 | 基于内容的Word2Vec实现
RichardsZ_的博客
07-12 730
Word2Vec实现 文章目录Word2Vec实现一、Word2Vec是什么二、主流实现方式1.gensim2.jiaba总结 一、Word2Vec是什么 二、主流实现方式 1.gensim 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('ignore') impor
word2vec模型评估_真 · Word2Vec从理论到实战（结合gensim）
weixin_39847034的博客
12-20 553
该文章内容基于gensim对wordvec的教程以及一篇知乎专栏https://zhuanlan.zhihu.com/p/26306795https://radimrehurek.com/gensim/auto_examples/tutorials/run_word2vec.html#sphx-glr-download-auto-examples-tutorials-run-word2vec-py...
word2vec常见考点
霜叶的博客
03-17 2317
问题 1：对比 Skip-gram 和 CBOW (1) 训练速度上 CBOW 应该会更快一点。因为每次会更新 context(w) 的词向量，而 Skip-gram 只更新核心词的词向量。两者的预测时间复杂度分别是 O(V)，O(KV) (2) Skip-gram 对低频词效果比 CBOW好。因为是尝试用当前词去预测上下文，当前词是低频词还是高频词没有区别。但是 CBOW 相当于是完形填空，会选择最常见或者说概率最大的词来补全，因此不太会选择低频词。（想想老师学生的那个例子）Skip-gram 在大一点的
如何进行文本挖掘的Matlab实现
vipfanxu的博客
11-13 170
本文将介绍如何使用Matlab进行文本挖掘的实现，从数据预处理到特征提取和模型构建，为读者提供一些实用的技巧和方法。文本清洗的目的是去除文本中的噪声和不必要的信息，例如HTML标签、特殊字符和标点符号等。TF-IDF模型是一种根据词语在文本中的频率和在语料库中的逆文档频率来表示文本的方法。例如，可以将文本转化为一个以词语为列的矩阵，其中每个元素表示该词语在文本中的TF-IDF权重。文本生成是根据给定的内容生成新的文本的过程。例如，可以将文本转化为一个以词语为列的矩阵，其中每个元素表示该词语在文本中的频率。
Matlab中的自然语言处理和文本分析方法
vipfanxu的博客
01-18 804
从文本预处理到特征提取，再到文本分类与情感分析，最后到文本生成与机器翻译，Matlab提供了丰富的函数和工具来支持这些任务的实现。在Matlab中，可以使用tfidf函数来计算文本的TF-IDF权重，并将文本转换成TF-IDF特征表示。情感分析是分析文本中情感倾向的任务，它可以判断文本是正面的、负面的还是中性的。文本分类和情感分析是自然语言处理中常见的任务，它们涉及将文本划分到不同的类别或者分析文本的情感倾向。文本预处理是文本分析的第一步，它涉及对原始文本进行清洗和转换，以便后续的处理和分析。
推荐评论展示（基于预训练Bert的文本分类）
不忘初心，方得始终
03-02 1804
目录 一、题目描述 1.1 背景描述 1.2 数据集 1.3 评测指标 二、解题思路 2.1 ML/DL的前提假设 2.2 主要思路 2.3 进一步的改进 三、动手实践 一、题目描述 1.1 背景描述 本次推荐评论展示任务的目标是从真实的用户评论中，挖掘合适作为推荐理由的短句。点评软件展示的推荐理由具有长度限制，而真实用户评论语言通顺、信息完整。综合来说，两者都具有用...
python 使用word2vec词嵌入代码
12-06
以下是使用Python中gensim库实现Word2Vec词嵌入的代码： ```python from gensim.models import Word2Vec # 定义语料库 sentences = [['this', 'is', 'the', 'first', 'sentence', 'for', 'word2vec'], ['this', 'is', 'the', 'second', 'sentence'], ['yet', 'another', 'sentence'], ['one', 'more', 'sentence'], ['and', 'the', 'final', 'sentence']] # 训练模型 model = Word2Vec(sentences, min_count=1) # 获取词向量 vector = model.wv['sentence'] print(vector) ``` 上述代码中，我们首先定义了一个语料库，然后使用该语料库训练了一个Word2Vec模型。接着，我们可以使用`model.wv`获取词向量，例如获取单词“sentence”的向量表示。最后，我们将该向量打印出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值