[学习日志]自然语言处理-斯坦福 词向量和词感

最新推荐文章于 2024-09-12 11:12:51 发布
最新推荐文章于 2024-09-12 11:12:51 发布
阅读量130 收藏
点赞数
文章标签： 词向量 梯度下降 负采样 优化 近义词
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/113698929
版权

关于词向量算法

算法做的事就是只是:计算词在特定上下文环境中出现的概率
但是最后得到的向量却具有了很多意料之外的性质,比如近义词等等
在这里插入图片描述

关于优化论 - 梯度下降

其实这门课的学习不会涉及到太多关于优化论细节的东西,所以只是简单过

在词向量的优化过程和视觉网络的优化是有一个很大的不同之处的
在这里插入图片描述
在SGD优化的时候,大多数维数是空的,因为每次都取一个窗口或几个窗口
(SGD就是在做Likelihood的时候把累乘符号去掉,变成随即抽取)

为什么每个词对应两个向量呢?

教授的解释是如果用两个更容易解释明白且更容易优化,其实一个也行.
如果两个向量做的好,理论上最后两个向量会统一(似乎是这个意思)

不同的W2V模型

有很多不同生成词向量的模型,大致分为两类
在这里插入图片描述

负采样 Negative Sampling

在这里插入图片描述
这里似乎提到了一个计算量的问题,而负采样可以解决
问题出在分母上.太朴素了.分母表示当前语料中每个词出现在该中心词周围语境的概率

比如对应语句:
The quick fox jumped over the dog.
在这里插入图片描述

对应的损失函数变为:
在这里插入图片描述
也就是说要让和正确的环境词的内积尽可能大,和错误次的内积尽可能小
其实差距不太大,原来是想让X/X+Y尽可能大 现在是让X-Y尽可能大
目的都是一样的 形式不同而已吧
当然里面肯定还有更深层的原因,这只是一种解释而已

朴素贝叶斯 Naive Byies

token

为什么不进行统计计数预测

在这里插入图片描述

如何评估词向量的好坏

很难
在这里插入图片描述
还有很多其他论文分享,实在看不明白

词感 word sense

很多词,尤其是常用词和老旧词,会有很多的意思
那么一个向量能够支持所有的词义嘛

有研究表明,如果给某个词仅一个向量,那么这个向量就是所有词义的平均向量
直觉上认为平均向量是没有实际意义的,用不了
但是实际上,在一个高维且稀松的矩阵里,平均值是可以被重新解构的
也就是说,一个向量就足够了
很神奇…

烫烫烫烫的若愚
关注
视觉增强词向量：我是词向量，我开眼了！
夕小瑶科技说
06-17 384
文 | 橙橙子亲爱的读者，你是否被各种千亿、万亿模型的发布狂轰乱炸，应接不暇，甚至有点产生对大模型的审美疲劳？出于这个目的，今天来分享一篇研究静态词向量的小清新文章。希望大家可以在理性追热...
word2vec 学习与使用日志
weixin_30770783的博客
04-19 214
1. word2vec入门级软文 - 【CBOW，Skip-gram】 http://www.sohu.com/a/128794834_211120 转载于:https://www.cnblogs.com/heiaun/p/8880920.html
斯坦福大学深度学习与自然语言处理第二讲：词向量
天道酬勤
06-07 1567
斯坦福大学在三月份开设了一门“深度学习与自然语言处理”的课程：CS224d: Deep Learning for Natural Language Processing，授课老师是青年才俊 Richard Socher，以下为相关的课程笔记。 第二讲：简单的词向量表示：word2vec, Glove(Simple Word Vector representations: word2v
手把手教你学Word2Vec系列一之Corpora and Vector Spaces
kikyo_wp的博客
03-18 739
[说明]其实Word2Vec非常有用，使用起来也很简单，但总有一些跟我一样懒的娃娃不爱看文档，所以就有了这一系列博客。 Python下的Word2Vec的使用需要安装gensim，安装教程：gensim官网安装教程 本人英文水平有限，还是建议看官方教程，gensim官网使用教程语料与向量空间日志记录：import logginglogging.basicConfig(format='%(asct
斯坦福大学已经训练好的词向量模型下载网址
samoyan的博客,记录技术成长~
11-25 4957
http://nlp.stanford.edu/data/wordvecs/ http://nlp.stanford.edu/projects/glove/
[学习日志]自然语言处理-斯坦福 依存分析 dependency parsing
gjh1716718326的博客
02-19 519
句法 和 依赖 分析人类语言结构的两种方法 短语语法:上下文无关文法,似乎是CS专业的专业知识(现在就基本已经淘汰了) 依存语法：分析每个词的依赖部分，从而分析出句子结构 依存分析 large dog ： dog依赖着large 关于“谁修饰谁”这个问题，在语言结构分析中是非常关键的，比如下面这句 句中有很多介词结构短语，想要了解句意就需要明确，这些介词修饰的是谁 by … 修饰 acquisition of … 修饰 Royal Trustco(公司名) for … 修饰 acquisition
[学习日志]自然语言处理-斯坦福 机器翻译和高级RNN模型
gjh1716718326的博客
03-04 185
机器翻译 传统机器学习的解决办法 P(f|e)被称为翻译模型，在平行语料库上训练 P(e)被称为语言模型，在目标语料库上训练 翻译模型负责进行词的转换 语言模型负责进行词的拼接 难点：并不是所有词都有对应关系，并不是所有词都是一一对应关系 在所有可能中选择概率最高的是一个困难的搜索问题（束搜索） 深度学习的解决办法 深度学习的有点就是只有一个模型，而且这些模型可以共同训练 编码器的工作，逐个接收输入词向量，直到结束（每个词向量都会成为最终输出的一部分）。 解码器的工作，接受完整的编码输入，逐个输出目标
[学习日志]自然语言处理-斯坦福 神经网络
gjh1716718326的博客
02-08 182
Softmax分类器 和 逻辑回归分类器 (传统分类器) 都有权重向量W,区别在于数量 逻辑回归分类器只有一个W,因此逻辑回归只做二分类 Softmax分类器对每个类别都有一个权重,因此可以多分类 nll (negative loss likelihood)损失函数 这个基本不用,使用最多的还是交叉熵 交叉熵损失函数 p是真实分布,q是预测分布,交叉熵表示两者的接近程度 因为真实情况,也就是标签都是很明确的,因此p©是00001的 因此算下来其实和nll没有区别 传统分类器的不足 都是线性的,无法应对
[学习日志]自然语言处理-斯坦福 绪论
gjh1716718326的博客
02-05 95
关于语言 这里教授的解读很短，但是还是非常令人震撼的。虽然没什么知识含量，但是听完我就燃起来了。 1/N - One Hot编码 缺点：向量维度会很高，且向量不包含词间关系的信息 分布语义 - Distributional semantic 大体意思就是如果做完形填空能分出对错，你就算认识这个词了。 比如词嵌入 Word2Vector 似乎是个很牛逼的算法，把NPL推向了神经网络学习领域，内容如下 调整向量，使得中心词推出周围词的概率最大化。 但是问题是，只有一堆随机向量，要怎么计算概率呢？ 所有
NLP 自然语言处理实战
风尘浪子
03-28 1万+
本文从分词、词频、词向量等基础领域开始讲解自然语言处理的原理，讲解 One-Hot、TF-IDF、PageRank 等算法及 LDA、LDiA、LSA 等语义分析的原理。介绍 Word2vec、GloVe 、Embedding 等常用词嵌入及 NLTK、Jieba 等分词工具的应用。
中文自然语言处理入门实战
热门推荐
GitChat
07-03 5万+
课程介绍 NLP 作为 AI 技术领域中重要的分支，随着其技术应用范围不断扩大，在数据处理领域占有越来越重要的地位。本达人课，作为中文自然语言处理边学边实战的入门级教程，以小数据量的“简易版”实例，通过实战带大家快速掌握 NLP 在中文方面开发的基本能力。 本课程共包含 18 节。各小节之间并没有紧密耦合，但是整个内容还是遵循一定的开发流程。 比如，按照中文语料处理的过程，在获取到语料之后开始分词...
【神经网络与深度学习】卷积神经网络在自然语言处理的应用
ZhangPY的专栏
09-28 4320
摘要：CNN作为当今绝大多数计算机视觉系统的核心技术，在图像分类领域做出了巨大贡献。本文从计算机视觉的用例开始，介绍CNN及其在自然语言处理中的优势和发挥的作用。 当我们听到卷积神经网络（Convolutional Neural Network, CNNs）时，往往会联想到计算机视觉。CNNs在图像分类领域做出了巨大贡献，也是当今绝大多数计算机视觉系统的核心技术，从Facebook的图像
大语言模型应用指南：机器学习的过程
程序员光剑
06-27 257
在过去的几年里,自然语言处理(NLP)领域取得了长足的进步,很大程度上要归功于大型语言模型(Large Language Models, LLMs)的出现和发展。LLMs是一种基于深度学习的技术,能够从大量文本数据中学习语言模式和语义关系,从而生成看似人类编写的自然语言输出。随着计算能力的不断提高和海量数据的积累,训练大规模语言模型成为可能。这些模型在广泛的自然语言处理任务中表现出色,包括机器翻译、文本摘要、问答系统、内容生成等,展现出令人惊叹的语言理解和生成能力。
【机器学习】从零开始理解深度学习——揭开神经网络的神秘面纱
擅长将自己的感受、想法、知识通俗地表达出来，会点前后端开发、自动化测试、性能测试、爬虫。将来可能学硬件、AI。但一定会写实用的脚本。
09-06 2806
深度学习是机器学习的一个重要分支，通过多层神经网络处理复杂数据，广泛应用于图像识别、自然语言处理等领域。我们将在这篇文章中揭开深度学习和神经网络的神秘面纱。
深度学习中常见的损失函数
最新发布
技术宅学长的博客
09-12 705
不同的损失函数适用于不同的任务，回归任务中通常使用均方误差（MSE）和绝对误差（MAE），分类任务中使用交叉熵损失，物体检测和分割中使用IoU和Dice损失，而生成模型中使用对抗损失和重构损失。根据具体任务的特点选择合适的损失函数对于模型的性能有很大影响。
基于深度学习的零售柜商品识别系统实战思路
a871923942的博客
09-11 1206
YOLOv5是YOLO算法的一个实现版本，它在速度和准确性之间取得了很好的平衡。现在我们的数据已经准备好了，是时候训练我们的模型了。为了训练模型，我们需要为每张图像创建一个对应的标签文件，指明图像中物体的位置和类别。这段代码添加了一个新的标签来显示视频流，一个按钮来开始/停止实时识别，以及相应的方法来捕获和处理视频帧。这段代码创建了一个基本的窗口，包含一个图像显示区域、一个上传按钮、一个识别按钮和一个结果显示标签。为了提高系统的响应性，特别是在处理大图像或视频流时，我们可以使用多线程来进行识别。
秃姐学AI系列之：实战Kaggle比赛：狗的品种识别（ImageNet Dogs）
m0_62415132的博客
09-11 774
在这里，我们选择预训练的ResNet-34模型，我们只需重复使用此模型的输出层（即提取的特征）的输入。然后，我们可以用一个可以训练的小型自定义输出网络替换原始输出层，例如堆叠两个完全连接的图层。因此，我们可以使用 微调中讨论的方法在完整ImageNet数据集上选择预训练的模型，然后使用该模型提取图像特征，以便将其输入到定制的小规模输出网络中。在计算损失之前，我们首先获取预训练模型的输出层的输入，即提取的特征。的处理一样，即从原始训练集中拆分验证集，然后将图像移动到按标签分组的子文件夹中。
深度学习时遇到tensor([0.], device=‘cuda:0‘)等输出
weixin_53036073的博客
09-11 438
很有可能是更改了ultralytics文件夹中的某一个文件导致的，我以为是因为我更新了几个模块导致的出错，尝试了很多方法比如关掉详细输出修改模块以及将环境恢复至原始状态，但是都没有解决。其实以前运行也遇到过类似问题，换了我师姐给的ultralytics文件夹后就解决了，也不知道啥原理。所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！所以这次还是把现在的ultralytics文件夹给删除，换成最初的ultralytics文件夹，再运行就正常了！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值