[学习日志]自然语言处理-斯坦福 GRU&NMT

最新推荐文章于 2024-11-12 19:31:36 发布
最新推荐文章于 2024-11-12 19:31:36 发布
阅读量111 收藏
点赞数
文章标签： 自然语言处理 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gjh1716718326/article/details/114524484
版权
本文对比了GRU和LSTM在处理时间序列数据时的不同，特别关注了它们在处理跨时间链接和连续时间链接上的区别，以及如何通过重置门机制解决梯度问题。着重介绍了机器翻译评价指标BLUE，强调主观性与重叠性在翻译评估中的应用。
摘要由CSDN通过智能技术生成

关于GRUs和LSTMs的区别

GRU

在这里插入图片描述
绿色部分代表夸时间链接
值得注意的是h(t-1)其实包括了上轮的绿色部分
所有绿色部分会被累加的，这不太符合预期，可能会导致梯度爆炸或注意力固定

在这里插入图片描述
所以引入了重置门，即绿色部分
意味着有一些夸时间链接可以被削弱或放弃

这样一来
h(t-1)就专门对应连续时间链接
ht‘专门对应跨时间链接（虽然也包括连续时间，但希望的是跨时间）

h(t-1)是不是有点重复？也不能算重复，大概是为了更多的组合可能吧

LSTM

机器翻译的评价指标——BLUE

问题是翻译是一个很主观的事情，很难有一个量化评估手段。

BLUE的思想

由人工给出一份参考答案，然后看重叠性
所谓重叠性是由词长确定的，比如下图是BLUE3的示意图
在这里插入图片描述

自然语言处理-gru.pptx
04-23
自然语言处理是人工智能领域的一个重要分支，其目标是让计算机能够理解...随着深度学习技术的发展，GRU及其变体如长短时记忆网络（LSTM）已成为自然语言处理领域的标准组件，广泛应用于各种复杂的语言理解和生成任务。
cs224n 笔记11 GRU和NMT的其他议题
li_dongchao的博客
01-06 364
前言 cs224n 第11讲，复习了一些RNN知识，讲到了GRU以及机器翻译 文章目录前言RNN到GRU门控单元GRU寄存器GRU和LSTM对比训练技巧集成MT评价BLEUMultiple Reference Translations大词表问题 RNN到GRU 门控单元 在RNN中，我们想了解过去的信息是如何影响当前时刻的，想找到一种测量方式能够显示的表现这种影响。 RNN的梯度消失是一个很大的...
Stanford CS224n 第十一讲：GRU 及 NMT 的其他议题
u011828519的博客
01-05 901
目录
<模型汇总_4>神经翻译模型（NMT）新宠_Adversarial Neural Machine Translation_Adversarial-NMT
lqfarmer的博客
05-01 6928
前面介绍了牛逼的CNN（Convolutional Neural Network）、深度学习加速神器BNN（Binarized neural network）和深度学习中最贪玩的模型dual-learning NMT，感兴趣的同学可以添加微信公众号“深度学习与NLP”，回复关键词“CNN”、“BNN”或“dual”获取对应文章链接。今天我们讲讲NMT领域的新宠儿Adversarial-
自然语言处理-语言模型.pptx
04-23
自然语言处理（Natural Language Processing, NLP）是计算机科学领域的一个重要分支，它涉及如何让计算机理解、解析、生成和生成人类使用的自然语言。在这个领域，语言模型扮演着至关重要的角色，因为它们能够帮助...
自然语言处理-词表示.pptx
04-23
自然语言处理是计算机科学领域的一个重要分支，它专注于让计算机理解和生成人类自然语言，如中文和英文。在处理自然语言时，首要任务之一是将文本中的词汇转化为机器可理解的形式，这一过程称为词汇表示。 传统的...
自然语言处理-循环神经网络.pptx
04-23
自然语言处理是人工智能领域的一个重要分支，其目标是让计算机能够理解、解析、生成和应对人类的自然语言。在这个过程中，循环神经网络（Recurrent Neural Networks, RNNs）扮演了至关重要的角色，特别是在处理序列...
Qwen2 系列大型语言模型
最新发布
m0_53291740的博客
11-12 180
开发者：阿里巴巴集团。训练数据语言：包含英语、中文等 29 种语言。
计算机前沿技术-人工智能算法-大语言模型-最新研究进展-2024-11-03
11-12 635
本文介绍了一种名为LaTent Reasoning Optimization（LaTRO）的框架，旨在通过变分方法优化大型语言模型（LLMs）的推理能力。LaTRO通过将推理过程视为从潜在分布中采样，并自我奖励的方式来优化，使得LLMs能够在不需要外部反馈或奖励模型的情况下，同时提高推理过程和评估推理质量的能力。通过在GSM8K和ARC-Challenge数据集上的实验，LaTRO在多个模型架构上显示出显著的性能提升，证明了预训练LLMs具有可以通过LaTRO优化方法解锁和增强的潜在推理能力。
【人工智能】10分钟解读-深入浅出大语言模型（LLM）——从ChatGPT到未来AI的演进
万物皆有灵
11-08 906
2022年底，OpenAI推出的聊天机器人ChatGPT一经上线，便迅速引发了全球范围内的热议与追捧。仅在上线五天内，注册用户便突破了百万大关。ChatGPT的成功不仅展示了大语言模型（LLM）的强大能力，也标志着人类正式迈入了一个全新的人工智能时代。本文将以ChatGPT为切入点，回顾GPT模型的发展历程，深入解析大语言模型（LLM）的构成及其工作原理。同时，我们将涵盖自然语言处理（NLP）、深度学习、Transformer等相关知识，帮助读者全面了解LLM及其在AI领域中的重要地位。
基于Python的自然语言处理系列（59）：MultiRetrievalQAChain 实现
不想宅的冷同学
11-11 260
是 LangChain 提供的一种方法，允许我们使用多个不同的检索器（Retriever），并在不同的数据源之间自动选择最相关的检索器。无论是文本文档、个人信息还是不同主题的资料，系统都可以智能地判断最合适的回答来源，并高效地返回相关信息。设置不同的数据源名称、描述和相应的Retriever，以便系统在查询时进行选择。},},本文介绍了如何利用来构建一个多数据源的问答系统。在此系统中，用户的查询可以被路由到最相关的数据源，从而生成更准确和上下文相关的回答。通过设置多个Retriever。
昇思大模型平台打卡体验活动：项目5基于MindSpore实现Transformer机器翻译
kewei chen
11-11 840
本文从 Transformer 模型的基础概念入手，深入探讨了自注意力、多头注意力、位置编码等核心机制，并通过代码演示了如何构建词典和计算 BLEU 分数。通过这种实现，我们可以更深入理解 Transformer 在自然语言处理中如何捕捉语义信息，从而生成更准确和流畅的翻译或其他语言生成任务的输出。
CulturalBench ：一个旨在评估大型语言模型在全球不同文化背景下知识掌握情况的基准测试数据集
u011559552的博客
11-08 925
2024-10-04，为了提升大型语言模型在不同文化背景下的实用性，华盛顿大学、艾伦人工智能研究所等机构联合创建了CulturalBench。这个数据集包含1,227个由人类编写和验证的问题，覆盖了包括被边缘化地区在内的45个全球区域。CulturalBench的推出，目的通过一个稳健、多样化且具有挑战性的基准测试，衡量并跟踪我们在提升LLMs文化知识方面的进步。
bert-base-uncased使用
m0_56065966的博客
11-09 463
轻松学习bert-base-uncased使用
人工智能--自然语言处理简介
JellyAI的博客
11-08 1101
此外，现在有许多利用 NLP 的服务来创建应用程序，比如聊天机器人（它们属于应用，属于Agent应用开发），但这些内容不在知识的范围之内——我们将专注于 NLP 的基础知识（实现原理），以及如何进行语言建模，使您可以训练神经网络,教导电脑去理解和分类文本。在 NLP 的情况下，您的训练数据中可能包含成千上万个单词，出现在不同的上下文中，但您不可能在所有的上下文中涵盖所有可能的单词。你可能需要过滤掉一些所谓的“停用词”，这些词过于常见，不带任何实际意义，比如“the”，“and”和“but”。
EMNLP 2024 BoF 活动报名：用 Embeddings、Reranker、小型语言模型打造更优搜索！
Jina AI 的博客
11-07 695
在 2023 年 EMNLP 大会上，Jina AI 举办了 一场关于向量技术前沿探索的 Bird of a Feather (BoF) 会议，超过 80 位参会者，包括 DeepMind、Meta 等机构的顶尖研究员以及行业专家们，一起讨论向量前沿技术的最新进展。<<< 闪电分享、圆桌讨论和午餐会>>>今年的 EMNLP 2024 在迈阿密举行，我们将延续在...
解读Nature：Larger and more instructable language models become less reliable
ZJQ的博客
11-11 231
创新点 多维度分析可靠性：论文不仅关注了模型输出的正确性，还考虑了避免性和提示稳定性等多个维度，从而更全面地评估了LLMs的可靠性。 实验设计：论文通过设计一系列精心控制的实验，包括对不同难度级别的任务进行评估、使用多种提示变化来测试模型稳定性等，为深入理解LLMs的可靠性提供了有力证据。 提出改进建议：基于实验结果和分析，论文提出了改进LLMs可靠性的建议，如通过训练时加入难度一致性和避免性相关的损失函数、使用拒绝选项或外部AI监督等方法来增强模型的可靠性。
【Python】轻松实现机器翻译：Transformers库使用教程
萧鼎的博客
11-08 972
在某些专业领域（例如法律、医学等），需要使用特定的词汇。Transformers支持加载自定义的词汇表来增强翻译的专业性。使用Transformers库进行机器翻译相对简单且有效，特别适合在项目中快速搭建和测试翻译功能。通过本文的教程，您可以轻松上手机器翻译的基本实现，并理解如何对生成的翻译进行优化。未来，随着自然语言处理技术的不断发展，机器翻译的应用前景会更为广阔。希望本文能帮助您在项目中实现更流畅的翻译体验！
深度学习与自然语言处理：信息熵与N-Gram模型探索
5. 深度学习与自然语言处理：尽管作业未详细提及，但深度学习在NLP领域的应用广泛，如循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）以及Transformer等模型，它们能捕获更复杂的语言结构和上...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值