cs224n学习笔记4-RNN

已于 2022-03-01 10:32:10 修改
阅读量335 收藏
点赞数 2
分类专栏： 学习笔记 文章标签： nlp 自然语言处理
于 2022-02-26 15:10:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TARO_ZERO/article/details/123142300
版权

目录

Recurrent Neural Network 循环神经网络

N-grams

RNN 循环神经网络

RNN的训练：The vanishing/exploding gradient problem 梯度消失/爆炸问题

Bidirectional RNNs 双向循环神经网络

评估：F1-score

Recurrent Neural Network 循环神经网络

场景：计算单词序列的概率

N-grams

思路：根据前n-1个单词预测第n个单词的概率，但这会占用大量内存

RNN 循环神经网络

每层使用相同的神经网络，训练同一个参数矩阵，通过上层结果和新的输入变量共同预测结果

记词向量序列为x_1, x_2, ... , x_t，参数矩阵可分为W^{(hh)},W^{(hx)},W^{(S)}三部分，每层预测的概率向量为\widehat{y}_t，每层神经网络如下

损失函数：使用交叉熵损失函数

RNN的训练：The vanishing/exploding gradient problem 梯度消失/爆炸问题

根据梯度下降，因为权值矩阵W在每层都出现，求导时

如果W的初始化范数小于或大于1，随着序列变长t-k增大，\frac{\partial h_t}{\partial h_k}也会迅速缩小或增大，成为梯度消失/梯度爆炸

梯度爆炸解决方案：定义一个梯度阈值，梯度截断方法

梯度消失解决方案：恒等初始化结合ReLu线性整流函数

Bidirectional RNNs 双向循环神经网络

应用场景：情绪分析&意见挖掘，此时不需要考虑文本中单词序列的方向

进一步还可扩展为Deep Bidirectional RNNs

评估：F1-score

TARO_ZERO
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS224N笔记——RNN和语言模型
韩明宇
08-19 283
目录 传统语言模型 循环神经网络语言模型 损失函数 训练RNN时的困难 梯度消失问题 梯度消失实例 防止梯度爆炸 减缓梯度消失 困惑度结果 问题：softmax太大且太慢 一个实现技巧 序列模型的应用 双向和深层RNNs 双向RNNs 深层双向RNNs 评测 传统语言模型 语言模型就是计算一个单词序列（句子）的概率的模型。可以用于机器翻译中，判断译文序列中...
【笔记3-6】CS224N课程笔记 - RNN和语言模型
cindy_1102的博客
04-07 1734
CS224N（六）Recurrent Neural Networks and Language Models 【笔记3-1】CS224N - 深度自然语言处理 【笔记3-2】CS224N - 词向量表示 word2vec 【笔记3-3】CS224N - 高级词向量表示 【笔记3-4】CS224N - 分类与神经网络 【笔记3-5】CS224N - 依存分析 CS224n：深度学习的自然语言处理...
cs224n 笔记8 RNN和语言模型
li_dongchao的博客
12-16 310
传统语言模型 RNNs RNN语言模型 重要的训练问题和tricks RNNs用于其他句子任务 双向和深度RNNs 传统语言模型 语言模型是计算一个单词序列，也就是一个句子的概率的模型。 传统的语言模型就是利用待预测单词前窗口内的单词序列进行预测，假设窗口大小为n，则根据马尔科夫假设，可以用以下公式进行表示： p(w1,w2...wm)=∏i=1i=mp(wi∣w1,w2...wi−1)=∏i=1...
CS224n | RNN和语言模型
向着星辰大海
08-18 368
课时8 第八讲 - RNN和语言模型 http://www.hankcs.com/nlp/cs224n-rnn-and-language-models.html
斯坦福CS224n NLP课程【八】——RNN (循环神经网络)和语言模式
桐原因的博客
09-16 259
语言模型 语言模型计算一串句子的概率 传统的语言模型：通常我们会以一个突破点为基础条件在尝试预测一个词之前 我们会尝试仅仅根据它前面的n个词语预测下一个词 这是使用传统的机器学习模型必要的 但却是错误的 但是占用的内存较大 效率不好 解决办法：RNN 从理论层面上来讲 我们可以根据所有前序字组来进行预测 如此一来 内存需求只会取决于字词的数量规模而不受我们想依据的序列长度的影响 RNN语言模型 主要思想：我们使用相同的权重进行更新在所有时间步长中 如何进...
cs224n学习笔记
05-08
### cs224n学习笔记：Recurrent Neural Networks 和 Language Models #### 1. 语言模型简介 **语言模型**是一种统计模型，用于计算给定单词序列（即句子）的概率 \(P(w_1, \ldots, w_m)\)。尽管听起来简单，但在...
斯坦福CS224n_自然语言处理与深度学习 笔记
09-28
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门高级计算机科学课程，专注于自然语言处理（NLP）领域的深度学习技术。这门课程涵盖了广泛的NLP主题，从基础的文本预处理到复杂的深度学习模型，如...
斯坦福CS224n_自然语言处理与深度学习_笔记
07-15
通过阅读《斯坦福CS224n_自然语言处理与深度学习_笔记_hankcs.pdf》，你可以深入理解这些主题，掌握NLP的深度学习方法，并能够应用于实际项目中，提升自然语言处理的技能。这份笔记详尽地概述了课程内容，是学习这一...
斯坦福CS224n（2019最新）课件笔记合集
03-16
通过CS224n的学习，学生不仅可以掌握NLP的核心技术，还能了解这个领域的最新发展动态，为将来在学术界或工业界从事相关工作打下坚实基础。结合提供的笔记和幻灯片，学生可以自主安排学习进度，深入理解每一个主题，...
循环神经网络RNN学习笔记.docx
02-22
循环神经网络（RNN）是一种深度学习模型，特别设计用于处理序列数据，如自然语言、时间序列等。RNN 在处理序列数据时的关键优势在于它能够维持一个内部状态（隐藏状态），该状态能够捕获先前输入的信息，并将其与...
Stanford CS224n 第八讲：RNN和语言模式
u011828519的博客
12-15 1149
1. 传统的语言模型 2. 循环神经网络模型（RNN） 3. 训练神经网络面临的问题和技巧 梯度消失/爆炸出现的原因 梯度消失/爆炸实例 5. RNN应用于其他序列任务 \newline \newline 本节课主要讲了循环神经网络，下面将上面几个部分详述： 1. 传统的语言模型 语言模型是为了计算一个单词序列出现的概率P(w1,w2,...,wT)P(w_1,w_2,...,w_T)P(w1...
<模型汇总_4>神经翻译模型（NMT）新宠_Adversarial Neural Machine Translation_Adversarial-NMT
lqfarmer的博客
05-01 6902
前面介绍了牛逼的CNN（Convolutional Neural Network）、深度学习加速神器BNN（Binarized neural network）和深度学习中最贪玩的模型dual-learning NMT，感兴趣的同学可以添加微信公众号“深度学习与NLP”，回复关键词“CNN”、“BNN”或“dual”获取对应文章链接。今天我们讲讲NMT领域的新宠儿Adversarial-
【大模型理论篇】大模型时代下Bert去哪啦？
weixin_65514978的博客
08-20 1416
bert、自然语言处理、transformer、encoder、gpt、decoder、nlu、nlg、微调、fine-tuning
小琳AI课堂：Llama——NLP界的多面手
wx740851326的博客
08-22 808
通过这个演示，我们可以看到Llama在实际应用中的潜力。它不仅能够帮助开发者处理和理解自然语言文本，还能为各种应用场景提供强大的支持。这就是Llama，一个在NLP领域闪闪发光的多面手。现在，让我们通过一个简单的模拟演示来更直观地理解Llama的情感分析功能。我们将使用Python编写一个模拟函数，展示如何分析文本的情感倾向。本期的小琳AI课堂就到这里，希望你喜欢今天的分享。如果你有任何问题或想法，欢迎随时交流！
[CLIP-VIT-L + Qwen] 多模态大模型源码阅读 - 语言模型篇（2）
FlowerLoveJava的博客
08-19 747
我们确保token_type_id和position_id的最后一个维度都是seq_len + image_context_len，以便于后续的处理。最后对position_id进行重新塑性，position_ids原本的size为(seq_len + image_context_len,)，我们添加一个为1的维度(用unsqueeze(0))，并且将position_ids最后一个维度重塑为(seq_len + image_context_len)，这里可能有点多此一举，但是为了代码的健壮性也无妨。
景联文科技高质量文本标注：驱动自然语言处理技术的发展与应用
weixin_55551028的博客
08-19 1057
专业团队采用先进的标注技术和严谨的质量控制流程，确保每一份标注数据都能达到最高标准。无论是情感分析、命名实体识别、文本分类还是语义解析，都能提供精准、高效的标注服务，满足客户在自然语言处理、智能客服、内容推荐等领域的多样化需求。文本标注是自然语言处理（NLP）领域的一个重要环节，是指在文本数据上添加额外的信息或标记的过程，目的是为了让计算机能够理解和处理这些文本数据。通过文本标注，可以为文本中的各个部分提供具体的含义和上下文信息，从而帮助机器学习和深度学习模型更好地学习和理解文本的内容。
【Python机器学习】NLP分词——利用分词器构建词汇表（一）
最新发布
weixin_39407597的博客
08-23 557
在NLP中，分词（也称切词）是一种特殊的文档切分过程。
【机器翻译方向】数据集合集！
Kyzy_1919的博客
08-19 1006
二、错误标记和更正这是对 30 个选定的 TED 演讲（IWSLT 2017）的 3120 个英语-德语机器翻译句子的单词级错误标记和后期编辑/更正的集合。会议共有十项共同任务： 新闻翻译任务， 生物医学翻译任务， 类似的语言翻译任务， 无监督且资源极少的翻译任务， 自动后期编辑任务， 一个度量任务（在给定参考翻译的情况下评估 MT 质量）， 质量评估任务（评估 MT 质量，无需访问任何参考）， 并行语料库过滤和对齐任务， 终身学习 MT 任务， 聊天翻译任务。英语-德语和英语-捷克语的神经机器翻译。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值