吴恩达深度学习学习笔记——C5W3——序列模型和注意力机制-2

最新推荐文章于 2024-05-10 15:12:46 发布
最新推荐文章于 2024-05-10 15:12:46 发布
阅读量121 收藏
点赞数
分类专栏： 机器学习、深度学习（ML/DL)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hpdlzu80100/article/details/112724932
版权
本文探讨了机器翻译中长度归一化的重要性，指出束搜索可能无法确保找到最优解。同时，深入分析了定向搜索的误差及其影响，并进行了误差分析。此外，文章还介绍了评估机器翻译的标准，特别是二元词组的Bleu分值及其详细计算过程，为机器翻译质量评估提供了参考。
摘要由CSDN通过智能技术生成

1. 长度归一化

 

2. 束搜索不能保证可以找到最优解

 

3. 定向搜索的误差分析

 

4. 误差分析

 

5. 评估机器翻译

 

6. 二元词组的Bleu分值

 

 

7. Bleu细节

 

预见未来to50
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
吴恩达老师深度学习作业 L2W3-TensorFlow教程
11-21
在本课程“吴恩达老师深度学习作业 L2W3-TensorFlow教程”中，我们将深入探讨使用TensorFlow这一强大的开源库进行深度学习的基本概念和实践。TensorFlow是由Google Brain团队开发的一个平台，广泛用于机器学习和人工...
吴恩达深度学习学习笔记——C5W3——序列模型和注意力机制-1
预见未来to50的专栏
01-15 149
1. 序列对序列（seq2seq）模型（编码器、解码器） 2. 图像描述生成 3. 条件语言模型 4. 寻找最有可能的翻译 5. 为什么不选择贪婪搜索？局部最优不代表全局最优 6. 束搜索算法 ...
Deep AI 吴恩达深度学习-课程笔记
05-04
Deep AI 吴恩达深度学习-课程笔记 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助计算机专业人士掌握深度学习技术。课程共五堂课，涵盖深度学习的基础、神经网络的构建、卷积神经网络（CNN）、...
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
调试经验——Ryzen vs i7（AMD锐龙处理器与Intel i7处理器性能对比）
预见未来to50的专栏
01-25 1759
在运行深度学习案例时，无意发现Ryzen处理器性能要比i7高不少。 Ryzen:AMD Ryzen 5 4500U with Radeon Graphics, 2.38 GHz i7: 参考文章： 测试代码： 传统方法(classic): import time x1 = [9, 2, 5, 0, 0, 7, 5, 0, 0, 0, 9, 2, 5, 0, 0] x2 = [9, 2, 2, 9, 0, 9, 2, 5, 0, 0, 9, 2, 5, 0, 0] ### CLASSI...
吴恩达深度学习学习笔记——C3W2——机器学习策略2——练习题
预见未来to50的专栏
02-07 1101
C3W2 Quiz - Autonomous driving (case study) Ans: B Note: As discussed in lecture, applied ML is a highly iterative process. If you train a basic model and carry out error analysis (see what mistakes it makes) it will help point you in more p...
大语言模型生成式AI学习笔记——2. 1.4LLM指令微调——多任务指令微调
预见未来to50的专栏
04-30 1011
然而，它的表现并不像人类生成的基线摘要那样好，后者包括了诸如Mike询问信息以便于办理入住等重要信息，而模型的完成还捏造了原始对话中未包含的信息。虽然FLAN-T5是一个表现良好且适用于多种任务的通用模型，但你可能会发现它在你的特定用例的任务中还有改进的空间。在接下来的视频中，你将了解几个指标和基准，你可以使用它们来确定你的模型表现如何，以及你的微调版本比原始基础模型好多少。在许多轮次的训练中，通过计算示例的损失来更新模型的权重，结果得到了一个指令调整后的模型，学会了同时擅长许多不同的任务。
深度学习工程师能力模型
预见未来to50的专栏
02-23 997
学习机器学习和深度已经有一段时间了，花费了不少精力和时间。那么，离实用阶段还有多远呢？先来看看以下深度学习工程师能力模型。 参考文章：https://www.cnblogs.com/wintersun/p/12900627.html 深度学习工程师能力评估标准主要面向软件相关行业的企业员工及社会人士，能力级别分为初级、中级、高级三个级别。深度学习工程师能力评估要素主要包括专业知识、工程能力、业务理解与实践共3大类、9小类。其中，专业知识包括编程基础、机器学习基础、神经网络基础、深度学习基础；工程能.
大语言模型生成式AI学习笔记——1. 1.3 大语言模型及生成式AI项目生命周期简介——​​​​​​​生成式AI及LLM，LLM用例及任务
预见未来to50的专栏
04-19 954
例如，你可以要求模型根据提示写一篇论文，总结对话，其中你提供对话作为提示的一部分，模型利用这些数据及其对自然语言的理解来生成摘要。现在，虽然生成式AI模型正在为多种模态创建，包括图像、视频、音频和语音，但在这门课程中，你将专注于大型语言模型及其在自然语言生成中的用途。提示被传递给模型，模型然后预测下一个单词，因为你的提示包含了一个问题，这个模型生成了一个答案。存储在模型参数中的语言理解是处理、推理并最终解决你给出的任务的过程，但同样真实的是，较小的模型也可以被微调以在特定的专注任务上表现良好。
吴恩达深度学习学习笔记——C5W1——循环序列模型（RNN）——练习题
预见未来to50的专栏
02-19 949
C5W1 Quiz - Recurrent Neural Networks Ans: A Ans: A Ans: B、D 4. Ans: C Ans: D Ans: B Ans: D Ans: C Ans: A Ans: C 1. Suppose your training examples are sentences (sequences of words)....
吴恩达深度学习学习笔记——C4W3——目标检测——作业——自动驾驶之车辆检测
预见未来to50的专栏
02-10 913
这里主要梳理一下作业的主要内容和思路，完整作业文件可参考: https://github.com/pandenghuang/Andrew-Ng-Deep-Learning-notes/tree/master/assignments/C4W3/Assignment/Car_detection_for_Autonomous_Driving 作业完整截图，参考本文结尾：作业完整截图。 Autonomous driving - Car detection（自动驾驶之车辆检测） Welcome to your
大语言模型生成式AI学习笔记——1. 2.4LLM预训练和缩放法则——​​​​​​​缩放法则和计算优化模型
预见未来to50的专栏
04-26 901
如果你固定你的计算预算，那么你用来提高模型性能的两个杠杆就是你的训练数据集的大小和模型中的参数数量。Chinchilla论文的一个重要结论是，对于给定的模型，最优的训练数据集大小大约是模型参数数量的20倍。Chinchilla论文暗示，许多像GPT-3这样的1000亿参数大型语言模型实际上可能是过度参数化的，意味着它们的参数超过了很好地理解语言所需的数量，也不是因为训练不足（undertrained）而需要更多训练数据。作者假设，如果训练在更大的数据集上，较小的模型可能能够达到与更大的模型相同的性能。
吴恩达深度学习学习笔记——C4W1——卷积神经网络——练习题
预见未来to50的专栏
02-08 887
C4W1 Quiz - The basics of ConvNets Ans: C Ans: D Note: 100*(300*300*3)+100 = 27000100 Ans: B Note: 5*5*100 + 100 = 2600 Ans: C Note: n=63, f=7, nC=32, s=2, p=0 nH=nW=(n+2p-f)/s+1=(63-7)/2+1=29 Shape of output: nH*nW*nC= 29*29*32 ...
大语言模型生成式AI学习笔记——1. 2.1LLM预训练和缩放法则——​​​​​​​预训练大语言模型
预见未来to50的专栏
04-23 886
一旦你确定了你的使用案例，并决定如何在你的应用中使用LLM（大语言模型），你的下一步就是选择一个模型来工作。你的首个选择将是使用现有的模型，或者从头开始训练你自己的模型。这种增长是由诸如高度可扩展的转换器架构的引入、用于训练的大量数据的获取以及更强大的计算资源的开发等因素推动的。虽然这听起来很棒，但事实证明，训练这些巨大的模型是困难且非常昂贵的，以至于持续训练越来越大的模型可能是不可行的。现在你已经看到了这些不同模型架构是如何训练的，以及它们非常适合的具体任务，你可以选择最适合你的使用案例的模型类型。
大语言模型生成式AI学习笔记——2. 2.4PEFT（参数高效微调）——实验2（对话总结生成式AI模型的调优）说明
最新发布
预见未来to50的专栏
05-10 880
本周的实验室，让你亲自尝试使用PEFT和LoRA进行微调，通过提高Flan-T5模型的摘要能力。我的同事Chris将带你了解本周的笔记本。现在我把你交给他。现在让我们看看第二实验室。在第二实验室中，你将亲自动手进行完全微调和参数高效微调（也称为PEFT和提示指令）。你将为你的特定摘要任务，用你自己特定的提示进一步调整Flan-T5模型。让我们直接进入笔记本。第二实验室，我们将实际对模型进行微调。第一实验室，我们进行了零样本推断，情境内学习。
大语言模型生成式AI学习笔记——2. 1.1LLM指令微调——​​​​​​​第2周课程简介
预见未来to50的专栏
04-30 807
欢迎回来。这周我和我的导师Mike和Shelby在一起。上周你们了解了转换器网络，这实际上是大型语言模型的一个关键基础，以及生成式AI项目生命周期。这周我们还有更多内容要深入探讨，首先从大型语言模型的指令调整开始。然后是关于如何以高效的方式进行微调。是的，所以我们将看看指令微调。当你有一个基础模型，最初预训练时，它编码了很多非常好的信息，通常是关于世界的信息。所以它知道很多事情，但它不一定知道如何响应我们的提示，我们的问题。所以当我们指示它做某项任务时，它不一定知道如何响应。
Deeplearning.AI自然语言处理学习笔记——C2W3——自动完成（填充）——练习题
预见未来to50的专栏
07-28 781
20230728:
吴恩达深度学习专项课程笔记：700页详细版
"吴恩达深度学习笔记，700页+详细版，包含深度学习、吴恩达、机器学习、人工智能等相关标签，是基于Coursera上的深度学习专项课程的中文笔记，由黄海广博士及其团队翻译整理，旨在帮助学习者掌握深度学习并应用于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值