Week 6 Learning Representation: Word Embedding (symbolic →numeric)

已于 2022-08-02 21:07:28 修改
阅读量383 收藏
点赞数
分类专栏： FIT5215 Deep learning 文章标签： 深度学习 人工智能 机器学习
于 2022-07-25 13:43:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangjian530/article/details/125968404
版权
本文深入探讨了机器学习和深度学习中的学习表示，特别是聚焦于词嵌入（Word embedding）的理论与实践，包括One hot representation的优缺点和Word2vec模型的详细解析，如CBOW、Skip-gram、Hierarchical SoftMax与Negative sampling等，以及Word2Vec在实际应用中的局限性和调参建议。
摘要由CSDN通过智能技术生成

目录

一、机器学习和深度学习中的学习表示

1、RNN知识回顾

 2、传统特征提取和现代的特征提取对比

二、词嵌入（Word embedding）

1、Word embedding定义

2、独热（One hot representation）

2.1 定义

2.2 优缺点分析

三、 Word2vec

1、 Word2vec综述

2、Continuous bag of words (CBOW)

 2.1 Simple CBOW Model

2.2、 CBOW Multi-Word Context Model

 3、 Skip-gram

 3.1 Skip-gram 模型介绍

3.2 Skip-gram例子

 3.3 skip-gram注意点

4、Word2Vec加速训练的方法（Hierarchical SoftMax和Negative sampling）

4.1 分层softmax（Hierarchical SoftMax）

4.2 负采样（Negative sampling）—— more popular and efficient

5、关于Word2Vec若干问题的思考

5.1 Negative Sampling，对词频低的和词频高的单词有什么影响

5.2 Hierarchical Softmax的计算过程，怎么把 Huffman 放到网络中的？参数是如何更新的？对词频低的和词频高的单词有什么影响

5.3 Word2Vec有哪些参数，调参的建议

5.4 Word2Vec有哪些局限性

三、Something to vector

1、Doc2Vect(Documents to Vectors)

2、Node2Vect(Nodes to Vectors)

一、机器学习和深度学习中的学习表示

1、RNN知识回顾

 2、传统特征提取和现代的特征提取对比

了解本专栏 订阅专栏 解锁全文 超级会员免费看
金州饿霸
关注
专栏目录
订阅专栏
FIT5201 Machine learning Quiz整理
金州饿霸吃不饱的博客
07-24 545
FIT5201 Machine learning Quiz整理
AdamTechLouis's talk:Deep Learning approaches to understand Human Reasoning
weixin_41697507的博客
06-03 479
For a doctor who is using Deep Learning to find whether the patient has multiple sclerosis, it is not at all good to get a yes or no answer from the model. For a safety critical application such as a...
FIT5215 Deep learning学习经验贴
金州饿霸吃不饱的博客
10-11 618
FIT5215 Deep learning学习经验贴
NLP-分布表示(distributional representation)与分布式表示(distributed representation)
spring_willow的博客
08-06 9526
写论文好纠结这两个东西的概念。。。对网上查到的资料进行以下整理。。。 distributed representation&distributional representation 分布式表示与分布表示 1.关于Manning 在2015 年深度学习暑期学校（蒙特利尔）的澄清 Distributed: A concept is represented as cont...
Week 7 - Distributional Representations（分布表示）
金州饿霸吃不饱的博客
08-02 792
Distributional Representations（分布表示）
AGI之MFM：《多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
10-06 3155
​AGI之MFM：《Multimodal Foundation Models: From Specialists to General-Purpose Assistants多模态基础模型：从专家到通用助手》翻译与解读之统一的视觉模型、加持LLMs的大型多模态模型 目录 4、Unified Vision Models统一的视觉模型 4.1、Overview概述 NLP的发展：2018年之前(不同的NLP任务使用不同的任务特定模型解决，如翻译/语义解析/摘要生成)→2018年之后(GPT-style
ACL 2022 主会长文论文分类整理
Kaiyuan_sjtu的博客
05-13 5998
© 作者｜蒋锦昊 机构｜中国人民大学高瓴人工智能学院研究方向 | 自然语言处理导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers...
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
【NLP】ACL-2019 录用论文
热门推荐
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
斯坦福课程Knowledge Graphs-What is a Knowledge Graph?
anqi3776的博客
09-02 1588
斯坦福课程Knowledge Graphs-What is a Knowledge Graph?1. Introduction2. Knowledge Graph Definition3. Recent Applications of Knowledge Graphs3.1 Knowledge Graphs for organizing Knowledge over the Internet3.2 Knowledge Graphs for Data Integration in Enterprises4.
历年计算机科学领域中各大顶会的获奖文章 ICCV、AAAI、CVPR...
ghw15221836342的博客
01-12 4758
Original address: https://jeffhuang.com/best_paper_awards.html By Conference:   AAAI   ACL   CHI   CIKM   CVPR   FOCS   FSE   ICCV   ICML   ICSE   IJCAI   INFOCOM   KDD   MOBICOM   NSDI   OSDI   PLDI...
keras安装与配置指南_Keras-快速指南
cunzai1985的博客
09-24 3891
Keras-快速指南 (Keras - Quick Guide) Advertisements 广告 Previous Page 上一页 Next Page 下一页 Keras-简介 (Keras - Introduction ) Deep learning is one of the major subfield of machine learning fr...
深度学习案例：一步步搭建多层神经网络以及应用
最新发布
STRANGEX-03的博客
10-31 330
该案例来自吴恩达深度学习系列课程一《神经网络和深度学习》第四周编程作业，一步步搭建多层神经网络以及应用，作业内容是搭建一个能够识别猫的多层的神经网络。作业提供的资料包括：训练集、测试集、测试实例、神经网络工具包、加载数据的工具包，下载请移步参考链接一。
基于 GADF+Swin-CNN-GAM 的高创新扰动信号识别模型！
10-30 718
基于格拉姆矩阵GADF+Swin Transformer窗口注意力和CNN-GAM全局注意力的电能质量扰动信号识别模型!
深度学习之激活函数
weixin_43775295的博客
10-30 1112
PiexpθiTx∑k1KexpθiTxPi∑k1K​expθiT​xexpθiT​x​​ 其中，$ \theta_i $ 和 $ x $ 是列向量，$ \theta_i^T x $ 可能被换成函数关于 $ x $ 的函数 $ f_i(x) $​ 通过 softmax 函数，可以使得 $ P(i) $ 的范围在 $ [0,1] $ 之间。
引入了窥视孔连接（peephole connections）的LSTM
m0_73640344的博客
10-29 628
通过引入窥视孔连接，LSTM能够更加精确地控制信息流，因为每个门都可以根据细胞状态的即时值进行调整。这种设计不仅增强了模型的性能，尤其是在需要精细控制内部状态记忆的应用中，如复杂的序列预测和模式识别任务，也提高了决策过程的透明度和直观性。
基于YOLO11/v10/v8/v5深度学习的危险驾驶行为检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
阿旭的博客
10-30 1571
基于YOLO11/v10/v8/v5深度学习的危险驾驶行为检测识别系统设计与实现【python源码+Pyqt5界面+数据集+训练代码】
深度学习：梯度下降算法简介
m0_73640344的博客
10-29 1280
在深度学习的训练过程中，梯度下降算法（Gradient Descent，简称GD）扮演着至关重要的角色。这一算法的核心机制是利用数据集的梯度信息来迭代更新模型参数，以最小化损失函数。接下来，我们将详细讨论其各种变体和进化。1. 随机梯度下降（SGD）由于全批量的梯度下降在面对大规模数据集时会受到内存限制和迭代速度的制约，学者们提出了随机梯度下降（Stochastic Gradient Descent，SGD）。这种方法每次迭代仅使用数据集中的一个小批量样本来计算梯度和更新参数。
【征程 6 工具链性能分析与优化-1】编译器预估 perf 解读与性能分析
地平线开发者
10-30 953
这篇文章中，我们将首先介绍layerdetails中的参数信息，然后将结合实例分析如何利用layerdetails来分析模型的性能瓶颈，进而对模型的性能进行优化。
TypeError: unsupported operand type(s) for *: 'Embedding' and 'Embedding'
04-05
This error occurs when attempting to multiply two embedding layers in a neural network. Embedding layers are used to convert categorical data into a continuous representation. However, these layers cannot be multiplied together as they are not numerical values. To fix this error, you need to check your neural network architecture and ensure that you are not attempting to multiply two embedding layers. Instead, consider concatenating them or using other appropriate operations for your specific task.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

金州饿霸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值