机器学习笔记8_RNN & Word Embedding

最新推荐文章于 2022-05-07 17:57:34 发布
最新推荐文章于 2022-05-07 17:57:34 发布
阅读量1k 收藏
点赞数
分类专栏： 深度学习笔记 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44028290/article/details/123635867
版权

本文是李宏毅机器学习的笔记，这是第八节，介绍了RNN网络以及Word Embedding技术。

文章目录

1. RNN

由于在一些场景中，我们需要考虑之前的输入，所以我们需要将之前的信息进行存储。例如下图中的两句话Taipei，分别表示目的地和出发地，所以我们需要考虑上下文。

RNN网络可以将之前的信息进行存储，这样就可以让模型考虑上下文信息。

RNN也可以做成Deep的结构

RNN的变形有很多，例如Elman Network、Jordan Network、Bidirectional RNN

LSTM

下面重点介绍下，RNN比较常用的一种变形LSTM。从下图可以看出LSTM有四个输入，一个输出

具体的计算过程如下所示：其中c就是存储的信息。

下面是一个运算流程的例子


这里四个门的输入都是输入的原数据加上bias
另一种更合理的做法是，通过通过训练用的原数据，得到四个门的输入。

具体的运算流程如下图所示。

下图展示了两个时间的输入是如何得到的。

也可以组成多层的LSTM网络，图片过于复杂，就不放了，一般的深度学习框架都已经封装好了，直接用就可以了。

学习过程如下，通过每一阶段的真实标签和预测值进行输出

最低0.47元/天 解锁文章
vrerain
关注
专栏目录
李宏毅2020机器学习课程笔记（三）- CNN、半监督学习、RNN
⚡
08-13 5163
包含李宏毅机器学习视频P17-P23的课程梗概
用RNN & CNN进行情感分析 - PyTorch
weixin_51221144的博客
06-21 3981
情感分析研究人们在文本中（如产品评论、博客评论和论坛讨论等）“隐藏”的情绪。这里使用斯坦福大学的大型电影评论数据集（large movie review dataset）进行情感分析。它由一个训练集和一个测试集组成，其中包含从IMDb下载的25000个电影评论。在这两个数据集中，“积极”和“消极”标签的数量相同，表示不同的情感极性。 2.预处理数据集 将每个单词作为一个词元，过滤掉出现不到5次的单词，从训练数据集中创建一个词表。 在词元化之后，绘制评论词元长度的直方图。 从上图可以看出评论的长度各不相同，为
机器学习教程 - Unsupervised Learning: Word Embedding
01-30
Unsupervised Learning: Word Embedding How to exploit the context? Prediction-based – Training Prediction-based – Language Modeling Prediction-based – Sharing Parameters Prediction-based – Various Architectures
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入）
Holeung blog
06-16 3289
[机器学习入门] 李宏毅机器学习笔记-15 （Unsupervised Learning: Word Embedding；无监督学习：词嵌入） PDF VIDEOWord Embedding Word Embedding 是前面讲到的dimension reduction一个很好的应用。 1-of-N Encoding，是把所有的word用一个向量表示，每个向量都不一样，我们没办法
【机器学习笔记48】Word Embedding概念及Word2vec基本使用
Fred's Note
09-05 401
【参考资料】 【1】https://www.jianshu.com/p/471d9bfbd72f 【2】https://blog.csdn.net/L_R_H000/article/details/81320286 【3】https://blog.csdn.net/FK103/article/details/83033086 1. one-hot 编码方式 基本概念: 所谓的one-hot编码理...
word embedding
lavender*的博客
03-05 407
word embedding的意思是：给出一个文档，文档就是一个单词序列比如 “A B A C B F G”, 希望对文档中每个不同的单词都得到一个对应的向量(往往是低维向量)表示。比如，对于这样的“A B A C B F G”的一个序列，也许我们最后能得到：A对应的向量为[0.1 0.6 -0.5]，B对应的向量为[-0.2 0.9 0.7]  （此处的数值只用于示意）之所以希望把每个单词变成一...
RNN模型与NLP应用笔记(2)：文本处理与词嵌入详解及完整代码实现（Word Embedding）
weixin_45012204的博客
05-07 2549
RNN模型与NLP应用笔记(2)：文本处理与词嵌入及详细代码实现（Word Embedding） 【含各步骤详细记述及代码实现】
李宏毅2020年机器学习作业4—RNN学习笔记
求算法实习
05-18 2024
李宏毅2020年机器学习作业4—RNN学习笔记前言一、问题描述二、实现过程2.1 读取数据2.2 词向量处理2.3 数据预处理2.4 定义Dataset2.5 模型定义2.6 训练模型2.7 预测三、优化3.1加入无标签的数据3.2 测试时pytest错误解决方案3.3 self_training方法3.4 去除标点符号 + Bi-LSTM+ Attention四、参考与声明 前言 声明：本文参考了李宏毅机器学习2020年作业例程，基本上是将代码复现了一遍，开发平台是Pycharm社区版2021。 开发环境
自然语言菜鸟学习笔记（七）：RNN（循环神经网络）及变体（LSTM、GRU）理解与实现（TensorFlow）
心有猛虎 细嗅蔷薇
07-15 4384
目录 前言 RNN（循环神经网络） 为什么要用循环神经网络（RNN）？ 循环神经网络（RNN）可以处理什么类型的任务？ 多对一问题 一对多问题 多对多问题 循环神经网络结构 单层网络情况 正向传播 反向传播 存在问题 优化方案 多层网络情况 双向网络结构 LSTM（Long Short Term Memory）长短期记忆网络 LSTM与RNN的不同 选择性机制的...
Word Embedding
Can Liu
09-22 1076
同样是在上一篇博客中我所提到的最近在看的论文使用的模型中，初次接触Word Embedding。就是下面这个模型（Figure 3），让我一个小白被迫的主动学习了超多基础知识，当然，我在拿着这篇论文去给老师讲的时候脑子并没有缕的很清楚，现在想想，真是辛苦老师了。 话不多说，进入正题，说说我对Word Embedding的理解。文章内容借鉴吴恩达的视频和大牛YJango的专栏。 单词表达 在卷积神...
为什么要做 Word Embedding
JIN JI 2013.12.24
09-27 965
url：https://yjango.gitbooks.io/superorganism/content/shen-ceng-xue-xi-ying-yong/zi-ran-yu-yan-chu-li/word-embedding.html 在做自然语言处理（NLP）时，都会用到word embedding技巧。 可是为什么要做word embedding？它究竟给我们的机器学习带来了什么好
RNN trigger word detection
nyist_yangguang的博客
04-20 168
【ML&DL学习】19 rnn embedding padding pooling
WMXNLFD的博客
03-16 323
1
Chinese word embedding 论文
weixin_40485472的博客
07-11 485
1.Component-Enhanced Chinese Character Embeddingshttp://yanran.li/files/emnlp2015comp.pdf点击打开链接
一文详解什么是RNN（循环神经网络）
Machine Learning with Tutors
04-25 5万+
如图所示，你会发现每个cell都会有一个损失，我们已经定义好了损失函数，接下来就是熟悉的一步了，那就是根据损失函数利用SGD来求解最优参数，在CNN中使用反向传播BP算法来求解最优参数，但在RNN就要用到BPTT，它和BP算法的本质区别，也是CNN和RNN的本质区别：CNN没有记忆功能，它的输出仅依赖与输入，但RNN有记忆功能，它的输出不仅依赖与当前输入，还依赖与当前的记忆。在图像处理中，目前做的最好的是CNN，而自然语言处理中，表现比较好的是RNN，因此，我们能否把他们结合起来，一起用呢？
RNN
热门推荐
对算法理论、算法工程落地、大数据工具等感兴趣
06-06 31万+
RNN（Recurrent Neural Network）是一类用于处理序列数据的神经网络。首先我们要明确什么是序列数据，摘取百度百科词条：时间序列数据是指在不同时间点上收集到的数据，这类数据反映了某一事物、现象等随时间的变化状态或程度。这是时间序列数据的定义，当然这里也可以不是时间，比如文字序列，但总归序列数据有一个特点——后面的数据跟前面的数据有关系。 ...
李宏毅ML作业笔记4: RNN文本情感分类
越开源越幸运
08-06 3865
文本情感分类 句子喂入RNN的方式 半监督 data格式 代码思路 加载数据集 正确个数计算 word embedding 数据预处理 RNN模型构建 RNN模型训练 改进尝试 报告题目 描述RNN RNN 的模型架構 word embedding 方法 訓練過程 (learning curve) 準確率
五、RNN模型 与 NLP应用 —— Bidirectional RNN
Liu_zy的博客
04-18 876
Bidirectional RNN(双向RNN): 从左向右和从右向左读一条评论都可以得出其情感. 训练n=2n=2n=2条RNN, 一条从左向右, 一条从右向左. 两个RNN的参数矩阵完全独立. 这一对RNN各自计算状态向量hih_ihi​, hi′h_i'hi′​, 将其拼接成yiy_iyi​. 如果将多对Bidirectional RNN组成Stacked RNN, 将yty_tyt​作为上层的输入即可. 如果只有一对Bidirectional RNN, 则只保留两条链各自最后的状态向量[ht,ht
深度学习笔记：NLP与机器翻译中的RNN解析
"这篇学习笔记主要探讨了深度学习在自然语言处理（NLP）领域的应用，特别是关注机器翻译技术，涉及RNN（循环神经网络）、GRU（门控循环单元）、LSTM（长短期记忆网络）等模型以及Seq2Seq（序列到序列）架构。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值