CS224n 斯坦福深度自然语言处理课笔记 Lecture02—词向量表示

最新推荐文章于 2024-09-05 17:22:27 发布
最新推荐文章于 2024-09-05 17:22:27 发布
阅读量327 收藏 2
点赞数
分类专栏： 笔记 文章标签： 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45401713/article/details/104374433
版权
本文介绍了斯坦福CS224n课程中关于词向量表示的内容，重点关注Word2vec模型。首先，讨论了词义的传统表示方法如WordNet及其局限性，然后引出词嵌入模型，特别是Word2vec模型。Word2vec通过预测词汇的上下文来表示单词的含义，采用 Skip-grams 方法并利用Softmax概率分布来计算概率。文章还涵盖了Word2vec的目标函数和梯度推导，以及优化方法，如梯度下降法。
摘要由CSDN通过智能技术生成
课程概要

1.词义
2.Word2vec介绍（学习词汇向量模型（2013年提出））
（当然还有别的方法进行词汇表征（后续会提到））
3.Word2vec目标函数的梯度推导
4.目标函数优化：梯度下降法

一、词义

定义：meaning：（Webster dictionary）用单词、短语等表达的想法；人们想要通过单词、符号等表达想法
某种意义上来说，这非常接近于语言学上最常理解的meaning的含义

利用分类资源，例如处理词义的方法是WordNet
WordNet：意义相近的单词组成一个同义词组（Synset），而同义词组之间则以上-下义，同义-反义，整体-部分以及蕴含等语义关系连接在一起，构成一个由同义词组作为结点，语义关系作为边的网状结构。（给每个单词对应的上下义关系以及同义词集合)

from nltk.corpus import wordnet as wn
panda = wn.synset('panda.n.01')
hyper = lambda s : s.hypernyms()
list(panda.closure(hyper))

如果以上代码不成功需要重新安装nltk库：https://blog.csdn.net/gggggertie/article/details/80148765
以上代码执行后的结果为：

更加详细的wordnet使用方法可参照：https://blog.csdn.net/King_John/article/details/80252594

WordNet的缺点
1.会忽略一些细微差别，比如同义词之间的差别(good, expert是同义词，但存在差别)
2.无法即时收录一些新的单词
3.主观性
4.需要花费人工去修正和创造
5.很难准确去计算单词之间的相似程度

分类表征普遍存在的问题
传统NLP(几乎所有，除了现代深度学习和80年代的神经网络)，用原子符号(atomic symbols)来表示单词。
即用one-hot向量(独热编码)来表示。
it is a localist representation.（这是一个本地的表示）
在这里插入图片描述使用原子符号就像是使用一个只有一个位置是1，其他都是0 的大向量。那么，我们有了大

最低0.47元/天 解锁文章
佳钰小甜心
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福CS224n-lecture02-词向量
l422380631的博客
04-25 333
学习内容： 1、单词意思 2、word2vec 简介 3、word2vec 目标函数 4、优化目标函数 wordnet词汇 人们很难从同义词词典中获取跟多的价值，虽然有很多资源但是存在很多细微的差别。 比如good的一组同义词：行家，专家，好的，熟练的，精通的，擅长的。这些其实是完全不同的东西，比如深度学习专家和擅长深度学习。 难以发现新的词汇，比如深度学习忍者。 人们往同...
深度学习NLP笔记（一）：词向量表示
weixin_39527549的博客
12-04 2468
入坑自然语言处理，学习路线按照CS224N课程来，本人小白一枚，写的不对或不明确的地方请随意指正。 一、词向量表示 1. 独热表示（one-hot） 简单讲，就是使用一个二进制的向量来代表一个词，每个词对应一个位置，该位置为1，其他位置全为0的向量代表了这个词，词表的大小就是串的长度。这种方式简介且易于理解，但有两个缺点。 　　（i）向量的维度会随词表包含的词的数量增加而增加； 　　（ii）任意...
CS224n课程笔记（二）——词向量表示：word2vec
小白的笔记本
08-23 766
一、词义表示 在计算机中，我们如何去表示一个单词呢？在传统的NLP算法中，我们将单词表示为离散的符号，那么这些单词就可以用one-hot向量来表示。在向量的某一位置为1，其余位置为0。这样的向量会非常长。 那么这样表示的问题在于它没有给出词汇之间的内在关系。单词向量之间是互相垂直的，我们没有办法计算它们之间的相似性。...
【斯坦福CS224N学习笔记】01-Introduction and Word Vectors
松坡的机器学习笔记
06-12 265
CS224N-01-Introduction and Word Vectors CS224N Home 【Stanford NLP】 Video 【Bilibili】 1、Human language and word meaning 第一部分从传统的词表示引入到word vector，传统的表示方式是独热编码，有分布式语义产出词向量。 XKCD cartoon Definition: meaning (Webster dictionary) Common solution: WordNet Prob
CS224n NLP-Lecture 2: Word Vectors/第二讲-词向量表示： word2vec
夏普通
03-07 1399
课件: lecture02（链接地址：https://download.csdn.net/download/qq_34243930/10991266） 观看视频2（链接地址： https://www.bilibili.com/video/av41393758/?p=2）
CS224n 斯坦福深度自然语言处理课笔记 Lecture03—高级词向量表示
weixin_45401713的博客
02-20 306
bb
CS224n 斯坦福深度自然语言处理课 笔记 Lecture02
qq_40808086的博客
11-07 648
前言从词义说起什么是WordNet？WordNet的缺点存在的问题解决方法：分布相似性Word2vec词嵌入模型主要内容基础算法之一：Skip-grams(SG)基础算法之二：Continuous Bag of Words(CBOW) 前言 本课程由Christopher Manning, Richard Socher 领衔主讲 Stanford课程主页：http://web.stanford....
斯坦福深度学习和自然语言处理CS224N P2 词向量表示word2vec
u010070587的博客
09-18 326
斯坦福深度学习和自然语言处理CS224N P2 词向量表示word2vec 1.基于最简单的结构构建神经网络 用神经网络完成学习词语表征的简单任务 (1)word meaning（15min） (2)word2vec introduction(2013,词汇表征)（15min） (3)research highlight（5min） (4) word 2 vec objective functio...
词向量和优化方法
weixin_44336181的博客
06-27 303
优化方法 梯度下降法 求最小化损失函数J(θ)J(\theta)J(θ)。 算法思想：对当前值θ\thetaθ，计算J(θ)J(\theta)J(θ)梯度，沿着梯度负方向前进一小步，重复进行直到到达最低点(Minimum)。 梯度下降更新方程(矩阵表示)：θnew=θold−α▽θJ(θ)\theta ^{new} = \theta ^{old}-\alpha \triangledown_\theta J(\theta) θnew=θold−α▽θ​J(θ) α\alphaα为学习率或学习步长 梯度下
EI会议推荐-第二届大数据与数据挖掘国际会议（BDDM 2024）
weixin_46047701的博客
09-05 669
序列处理与分析、网络挖掘、高性能数据挖掘算法、关联挖掘、基准和评估、交互式数据挖掘、数据挖掘就绪结构和预处理、数据挖掘可视化。大数据分析、人工智能、大数据网络技术、大数据搜索算法和系统、分布式和点对点搜索、基于大数据的机器学习、大数据可视化分析。数据挖掘基础、数据挖掘的挑战、并行和分布式数据挖掘算法、数据流挖掘、图挖掘、空间数据挖掘、文本/视频/多媒体数据挖掘。、数据挖掘中的信息隐藏、安全和隐私、挖掘算法的竞争分析。会议时间：2024年12月13日-12月15日。主办方：武汉纺织大学。
(基于分水岭算法的粘连目标检测).zip
09-06
1 目标检测的定义 目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务，目标定位和目标分类。首先检测图像中目标的位置（目标定位），然后给出每个目标的具体类别（目标分类）。输出结果是一个边界框（称为Bounding-box，一般形式为(x1,y1,x2,y2)，表示框的左上角坐标和右下角坐标），一个置信度分数（Confidence Score），表示边界框中是否包含检测对象的概率和各个类别的概率（首先得到类别概率，经过Softmax可得到类别标签）。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类：Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段，主要用于生成潜在的目标候选框（Bounding-box proposals）。这个阶段通常使用卷积神经网络（CNN）从输入图像中提取特征，然后通过一些技巧（如选择性搜索）来生成候选框。第二个阶段是分类和位置精修阶段，将第一个阶段生成的候选框输入到另一个 CNN 中进行分类，并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高，缺点是速度相对较慢。 常见Tow stage目标检测算法有：R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值，并利用这些特征值进行目标的分类和定位，不需要生成Region Proposal。这种方法的优点是速度快，因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低，因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有：YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框，对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制，作用是从众多预测边界框中挑选出最具代表性的结果，这样可以加快算法效率，其主要流程如下： 设定一个置信度分数阈值，将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序，选中值最大的框 遍历其余的框，如果和当前框的重叠面积(IOU)大于设定的阈值（一般为0.7），就将框删除（超过设定阈值，认为两个框的里面的物体属于同一个类别） 从未处理的框中继续选一个置信度分数最大的，重复上述过程，直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度，当预测边界框和真实边界框差异很小时，或重叠度很大时，表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度，是评估目标检测模型效果的最重要指标，这个值介于0到1之间，且越大越好。mAP是AP(Average Precision)的平均值，那么首先需要了解AP的概念。想要了解AP的概念，还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值（Confidence Threshold）和IoU阈值（一般设置为0.5，也会衡量0.75以及0.9的mAP值）： 当一个预测边界框被认为是True Positive（TP）时，需要同时满足下面三个条件： Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3，则认为是False Positive（FP）。当对应同一个真值有多个预测结果时，只有最高置信度分数的预测结果被认为是True Positive，其余被认为是False Positive。 Precision和Recall的概念如下图所示： Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值，可以获得多组Precision和Recall，Recall放X轴，Precision放Y轴，可以画出一个Precision-Recall曲线，简称P-R
硕士毕业设计，水稻害虫识别，水稻病害分类，虫情测报灯害虫监测。.zip
最新发布
09-06
图像识别技术在病虫害检测中的应用是一个快速发展的领域，它结合了计算机视觉和机器学习算法来自动识别和分类植物上的病虫害。以下是这一技术的一些关键步骤和组成部分： 1. **数据收集**：首先需要收集大量的植物图像数据，这些数据包括健康植物的图像以及受不同病虫害影响的植物图像。 2. **图像预处理**：对收集到的图像进行处理，以提高后续分析的准确性。这可能包括调整亮度、对比度、去噪、裁剪、缩放等。 3. **特征提取**：从图像中提取有助于识别病虫害的特征。这些特征可能包括颜色、纹理、形状、边缘等。 4. **模型训练**：使用机器学习算法（如支持向量机、随机森林、卷积神经网络等）来训练模型。训练过程中，算法会学习如何根据提取的特征来识别不同的病虫害。 5. **模型验证和测试**：在独立的测试集上验证模型的性能，以确保其准确性和泛化能力。 6. **部署和应用**：将训练好的模型部署到实际的病虫害检测系统中，可以是移动应用、网页服务或集成到智能农业设备中。 7. **实时监测**：在实际应用中，系统可以实时接收植物图像，并快速给出病虫害的检测结果。 8. **持续学习**：随着时间的推移，系统可以不断学习新的病虫害样本，以提高其识别能力。 9. **用户界面**：为了方便用户使用，通常会有一个用户友好的界面，显示检测结果，并提供进一步的指导或建议。 这项技术的优势在于它可以快速、准确地识别出病虫害，甚至在早期阶段就能发现问题，从而及时采取措施。此外，它还可以减少对化学农药的依赖，支持可持续农业发展。随着技术的不断进步，图像识别在病虫害检测中的应用将越来越广泛。
基于python3.8部署mjpg-streamer服务器，结合yolov5算法实现目标检测.zip
09-06
1 目标检测的定义 目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务，目标定位和目标分类。首先检测图像中目标的位置（目标定位），然后给出每个目标的具体类别（目标分类）。输出结果是一个边界框（称为Bounding-box，一般形式为(x1,y1,x2,y2)，表示框的左上角坐标和右下角坐标），一个置信度分数（Confidence Score），表示边界框中是否包含检测对象的概率和各个类别的概率（首先得到类别概率，经过Softmax可得到类别标签）。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类：Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段，主要用于生成潜在的目标候选框（Bounding-box proposals）。这个阶段通常使用卷积神经网络（CNN）从输入图像中提取特征，然后通过一些技巧（如选择性搜索）来生成候选框。第二个阶段是分类和位置精修阶段，将第一个阶段生成的候选框输入到另一个 CNN 中进行分类，并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高，缺点是速度相对较慢。 常见Tow stage目标检测算法有：R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值，并利用这些特征值进行目标的分类和定位，不需要生成Region Proposal。这种方法的优点是速度快，因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低，因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有：YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框，对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制，作用是从众多预测边界框中挑选出最具代表性的结果，这样可以加快算法效率，其主要流程如下： 设定一个置信度分数阈值，将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序，选中值最大的框 遍历其余的框，如果和当前框的重叠面积(IOU)大于设定的阈值（一般为0.7），就将框删除（超过设定阈值，认为两个框的里面的物体属于同一个类别） 从未处理的框中继续选一个置信度分数最大的，重复上述过程，直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度，当预测边界框和真实边界框差异很小时，或重叠度很大时，表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度，是评估目标检测模型效果的最重要指标，这个值介于0到1之间，且越大越好。mAP是AP(Average Precision)的平均值，那么首先需要了解AP的概念。想要了解AP的概念，还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值（Confidence Threshold）和IoU阈值（一般设置为0.5，也会衡量0.75以及0.9的mAP值）： 当一个预测边界框被认为是True Positive（TP）时，需要同时满足下面三个条件： Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3，则认为是False Positive（FP）。当对应同一个真值有多个预测结果时，只有最高置信度分数的预测结果被认为是True Positive，其余被认为是False Positive。 Precision和Recall的概念如下图所示： Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值，可以获得多组Precision和Recall，Recall放X轴，Precision放Y轴，可以画出一个Precision-Recall曲线，简称P-R
无人机技术应用资料文档合集14篇.zip
09-06
无人机培训课件：无人机导航技术 无人机技术在管道巡检中的应用 无人机技术在婚礼摄影中的应用 无人机技术的救援应用 无人机技术的消防应用 无人机技术在军队的应用 农业无人机技术应用 无人机技术的创新与应用 无人机行业应用与发展无人机发展 无人机技术在农业中的应用 GIS与无人机技术的协同应用 无人机摄像技术的发展与应用 军事无人机技术的发展与应用 无人机技术与应用 无人机应用无人机技术的市场前景
病虫害检测后端model.zip
09-06
图像识别技术在病虫害检测中的应用是一个快速发展的领域，它结合了计算机视觉和机器学习算法来自动识别和分类植物上的病虫害。以下是这一技术的一些关键步骤和组成部分： 1. **数据收集**：首先需要收集大量的植物图像数据，这些数据包括健康植物的图像以及受不同病虫害影响的植物图像。 2. **图像预处理**：对收集到的图像进行处理，以提高后续分析的准确性。这可能包括调整亮度、对比度、去噪、裁剪、缩放等。 3. **特征提取**：从图像中提取有助于识别病虫害的特征。这些特征可能包括颜色、纹理、形状、边缘等。 4. **模型训练**：使用机器学习算法（如支持向量机、随机森林、卷积神经网络等）来训练模型。训练过程中，算法会学习如何根据提取的特征来识别不同的病虫害。 5. **模型验证和测试**：在独立的测试集上验证模型的性能，以确保其准确性和泛化能力。 6. **部署和应用**：将训练好的模型部署到实际的病虫害检测系统中，可以是移动应用、网页服务或集成到智能农业设备中。 7. **实时监测**：在实际应用中，系统可以实时接收植物图像，并快速给出病虫害的检测结果。 8. **持续学习**：随着时间的推移，系统可以不断学习新的病虫害样本，以提高其识别能力。 9. **用户界面**：为了方便用户使用，通常会有一个用户友好的界面，显示检测结果，并提供进一步的指导或建议。 这项技术的优势在于它可以快速、准确地识别出病虫害，甚至在早期阶段就能发现问题，从而及时采取措施。此外，它还可以减少对化学农药的依赖，支持可持续农业发展。随着技术的不断进步，图像识别在病虫害检测中的应用将越来越广泛。
8051Proteus仿真c源码用定时器T0查询方式P2口8位控制LED闪烁
09-06
8051Proteus仿真c源码用定时器T0查询方式P2口8位控制LED闪烁提取方式是百度网盘分享地址
深度学习NLP：斯坦福CS224n Lecture03词向量进阶
"这篇笔记来自斯坦福大学的深度自然语言处理课程CS224n，主要讨论了word2vec中的skip-grams模型和负采样技术。skip-grams模型通过遍历语料库，利用中心词预测上下文词，而负采样则是为了解决条件概率分母计算复杂的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值