深度学习｜16.1 词表示、embedding

最新推荐文章于 2024-09-01 07:53:26 发布
最新推荐文章于 2024-09-01 07:53:26 发布
阅读量356 收藏 6
点赞数 11
分类专栏： 深度学习 文章标签： 深度学习 embedding 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Fangyechy/article/details/135686297
版权

文章目录

词表示

one-hot编码

在这里插入图片描述
若有n类词，则用n维向量对单个类进行区分。在这个n维向量里面第i维为1，则说明这是第i个词，并且要求其他位置都是为0.

embedding编码

在这里插入图片描述
每一类词都有对应的一个多维的特征向量，这个特征向量描述了这类词和各个属性的相关性。

工具t-SNE——将多维空间投射到二维平面

在这里插入图片描述
在这里插入图片描述
性质更加相像的事物会聚集到一起去。
在这里插入图片描述

所谓嵌入就是将低维向量放入到高维空间的做法。

晓源Galois
关注
  • 11
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习面试问题目录 | 深度学习目标检测、语义分割、分类上百种面试问答技巧
kay_545
05-15 1486
面试，面经，春招，秋招，算法工程师，python，yolov5，yolo8，yolo
【优质书籍推荐】AIGC时代的PyTorch 深度学习与企业级项目实战
热门推荐
herosunly的博客
04-27 1万+
本文深入讲解了深度学习优质书籍：《PyTorch 深度学习与企业级项目实战》，希望能对学习深度学习的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者 3. 购买链接
深度学习必备书籍——《Python深度学习 基于Pytorch》
weixin_63866037的博客
04-07 3306
作为一名机器学习|深度学习的博主，想和大家分享几本**深度学习**的书籍，让大家更快的入手深度学习，成为AI达人！今天给大家介绍的是：《Python深度学习 基于Pytorch》
Python深度学习代码简介
幼儿园大哥~
06-11 623
PackagesModulesPython_init_.pyPython.pyimport。
【图书推荐】《PyTorch深度学习与企业级项目实战》
brucexia的专栏
05-13 1247
本书立足于具体的企业级项目开发实践，以通俗易懂的方式详细介绍PyTorch深度学习的基础理论以及相关的必要知识，同时以实际动手操作的方式来引导读者入门人工智能深度学习。本书配套示例项目源代码、数据集、PPT课件与作者微信群答疑服务。
文本挖掘（11）：深度学习与自然语言理解技术教程
kkchenjj的博客
07-19 922
深度学习框架提供了构建和训练神经网络的工具和接口，简化了深度学习模型的开发过程。常见的深度学习框架包括TensorFlow、PyTorch、Keras等。这些框架支持自动微分、GPU加速、模型保存和加载等功能，使得深度学习模型的开发更加高效和便捷。
文本挖掘（13）：机器学习在文本挖掘中的应用
kkchenjj的博客
07-19 548
主题模型是一种统计模型，用于发现文档集合或语料库中的抽象主题。它假设文档由多个主题组成，每个主题由一组词语的概率分布表示。主题模型能够揭示文档中隐藏的主题结构，对于理解和分析大量文本数据非常有用。
《速通深度学习数学基础》第6章 概率在深度学习中的应用
AI_000916的博客
04-12 791
目录6.1　概率分布之间的距离6.2　最大似然估计6.3　logit和softmax6.3.1　二分类的logit6.3.2　多分类的softmax6.4　语言模型6.5　概率悖论6.5.1　辛普森悖论6.5.2　基本比率谬误6.5.3　罗杰斯现象6.5.4　伯克森悖论6.6　统计学基础6.6.1　卡方分布和学生分布6.6.2　假设检验6.6.3　AB测试6.7　各类hash变换6.7.1　特征hash6.7.2　MD56.7.3　特征空间的投影6.7.4　simhash6.7.5　minhash6.8　分
【总结】【python】【TensorFlow】tensorflow常见的数据处理函数--机器学习，深度学习，强化学习
人间不值得
04-02 958
Numpy： 1、numpy.random 链接 numpy中的random主要是用来产生随机数的一个模块。 2、numpy.newaxis链接 numpy中的newaxis主要是帮助数组创建新轴，或者也叫增加维度。 3、numpy.lexsort 链接 numpy中的lexsort主要是对数组排序 TensorFlow： 1、tf.argmax(a,axis=)/tf.red...
深度学习100问27:什么是截断的BPTT
yyq916的博客
08-31 160
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 707
本次课将使用下列数据集：关于电影评价的数据集。
【王树森】RNN模型与NLP应用(1/9)：数据处理基础（个人向笔记）
hxdxiaoming的博客
08-29 230
为什么国籍要用One-Hot编码而不是直接用数字编码更节省存储空间？
深度学习基础—彩色图片的卷积运算
sniper_fandc的博客
08-28 474
即假设输入图片是n*n*nc的大小，过滤器是f*f*nc的大小，得到的卷积结果是(n-f+1)*(n-f+1)*nc，其中nc是通道数，这里默认步长为1，不进行padding操作。但是如果想检测不同的边缘特征，比如想同时检测6*6 RGB图像垂直边缘和水平边缘，就可以使用2个3维过滤器（3*3*3），得到两个4*4的输出，把这两个4*4的输出堆叠为4*4*2的输出，这个输出表示同时检查水平和垂直边缘的结果。把这三个过滤器堆叠到一起形成3维过滤器，从而就可以只检测红色的边缘，绿色和蓝色不进行检测。
深度学习速通系列:标准化和归一化
Ven%的博客
08-28 213
也称为Z-score标准化。目的是将数据的分布转换为均值为0，标准差为1的标准正态分布。公式：其中，𝑥x 是原始数据点，𝜇μ 是数据的均值，𝜎σ 是数据的标准差。
深度学习100问33:如何避免梯度消失
yyq916的博客
08-31 183
可以用一些聪明的自适应学习率优化算法，像 Adam、Adagrad 等，它们能根据模型的训练情况自动调整学习率，可贴心啦。像 Xavier 初始化和 He 初始化这些方法，可以根据网络的结构自动调整权重的初始值，让信号在网络里能更好地传播，就像给信号铺了一条顺畅的路。首先呢，选个好的“调味料”，也就是激活函数。当输入是正数的时候，它的梯度始终是 1，不会像有些传统激活函数那样，想象一下在一条长长的路上修一些小道，这样信号就可以直接从一层传到更深的层，不用经过好多层，就不会出现梯度慢慢消失的问题啦。
深度学习100问44:如何避免模型出现过拟合现象
最新发布
yyq916的博客
09-01 90
L1 正则化呢，会让模型的一些参数变成零，就像做选择题，把一些错误选项直接排除掉，起到特征选择的作用。L2 正则化会让模型的参数变小，让模型变得更平滑，就像给模型穿上了一件紧身衣，让它别乱长“肉”。比如在神经网络里，每次训练的时候随机地把一些神经元的输出设为零，让模型学会在没有这些神经元的时候也能好好表现。就像在图像识别里，把图片转一转、翻一翻、剪一剪，这样数据就变得更多样啦。在训练模型的时候，就像学生做模拟考试一样，不断看看模型在验证集上的表现。那就把模型弄得简单点吧，可以减少层数呀，或者少弄点神经元。
深度学习100问15:什么是交叉熵误差
yyq916的博客
08-30 712
真实的情况呢，就像是有个“标准答案”，知道红球出现的真正概率分布。而你的猜测呢，就是你给出的预测概率分布。要是差得远呢，交叉熵误差就大。对于不同的情况，比如有好几个类别要猜的时候，就用这个公式：。别被它吓到，其实就是把每个情况的真实概率和预测概率用一种特别的方式算一下差距，然后加起来。- 在分类问题里呀，交叉熵误差就像个严格的老师，它当损失函数，让模型不断学习，变得更聪明，好让预测结果更接近真实结果。- 如果模型猜错了，交叉熵误差会狠狠地“惩罚”它，这样模型就会赶紧改正，更快地学会正确的玩法。
深度学习系列73：使用rapidStructure进行版面分析
kittyzc的博客
08-28 314
项目地址https://github.com/RapidAI/RapidStructure?
深度学习中embedding
07-28
嗨！在深度学习中，嵌入（embedding）是将高维离散数据映射到低维连续向量空间的技术。它在自然语言处理（NLP）和推荐系统等任务中非常常见。 在NLP中，嵌入通常用于将单词或字符转换为向量表示。这些向量表示可以捕捉到单词之间的语义和语法关系。例如，可以使用预训练的词嵌入模型（如Word2Vec、GloVe或BERT）将单词转换为向量表示。 嵌入技术的优势在于可以将离散的符号型数据转换为连续的向量型数据，从而可以应用基于数值计算的深度学习模型。这种转换使得模型能够更好地理解和处理输入数据，并提高任务性能。 希望这个简要的解释对你有所帮助！如果你有更多关于嵌入的问题，欢迎提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值