自然语言处理与词嵌入-吴恩达深度学习笔记

最新推荐文章于 2022-10-31 16:20:46 发布

PengxiangZhou

最新推荐文章于 2022-10-31 16:20:46 发布

阅读量348

点赞数 1

分类专栏：深度学习文章标签：深度学习 nlp 自然语言处理

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_43464554/article/details/119539159

版权

深度学习专栏收录该内容

10 篇文章 3 订阅

订阅专栏

文章目录

- 自然语言处理与词嵌入

自然语言处理与词嵌入

词汇表征（Word Representation）

Visualizing word embeddings——t-SNE算法

在这里插入图片描述

Properties of Word Embeddings——Cosine similarity

在这里插入图片描述

Embedding matrix

在这里插入图片描述

学习词嵌入（Learning Word Embeddings）

Word2Vec

在这里插入图片描述

Skip-Gram模型

在这里插入图片描述

负采样（Negative Sampling）

将多分类问题转化成若干个（较少的）二分类问题，负采样根据如下分布随机采样： $P\left(w_{i}\right)=\frac{f\left(w_{i}\right)^{\frac{3}{4}}}{\sum_{j=1}^{10,000} f\left(w_{j}\right)^{\frac{3}{4}}}$

在这里插入图片描述

GloVe 词向量（GloVe Word Vectors）

在这里插入图片描述

算法思想

权重选取

估计参数取均值

情感分类（Sentiment Classification）

平均值运算-情感分类算法

在这里插入图片描述

RNN-情感分类算法

在这里插入图片描述

词嵌入除偏（Debiasing Word Embeddings）

确定bias direction
去除偏差，使得其在bias轴的垂直方向，从而与bias无关
使得bias的元素点与原点的距离相同

在这里插入图片描述

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
自然语言处理与词嵌入-吴恩达深度学习笔记

文章目录自然语言处理与词嵌入词汇表征（Word Representation）Visualizing word embeddings——t-SNE算法Properties of Word Embeddings——Cosine similarityEmbedding matrix学习词嵌入（Learning Word Embeddings）Word2VecSkip-Gram模型负采样（Negative Sampling）GloVe 词向量（GloVe Word Vectors）情感分类（Sentiment C
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。