吴恩达深度学习学习笔记——C5W2——自然语言处理与词嵌入-1

最新推荐文章于 2024-09-14 15:12:15 发布
最新推荐文章于 2024-09-14 15:12:15 发布
阅读量315 收藏
点赞数
分类专栏： 机器学习、深度学习（ML/DL)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hpdlzu80100/article/details/113868483
版权

 

1.1 词汇表征

使用独热编码表示词汇的局限性：不能表示不同词汇之间的关系（不同词之间是正交关系，内积为零）

 

词汇的特征化表示：词嵌入（word embedding），同类词的特征值相同或接近

 

词嵌入的可视化表示（t-SNE）

 

 

1.2 使用词嵌入

命名实体识别示例

 

迁移学习及词嵌入

 

词嵌入与人脸编码的关系——很相似，只是不同的约定称呼而已

 

 

1.3 词嵌入的特性

词嵌入的特性：同类词间的差较小

 

寻找同类词就是查找相似度函数值最大的那个词

 

可使用余弦相似度函数（cosine similarity）作为相似度函数

预见未来to50
关注
专栏目录
吴恩达深度学习笔记.pdf
11-21
【吴恩达深度学习笔记】是一份针对吴恩达教授在Coursera平台上的深度学习课程的详尽笔记，旨在帮助已有一定编程基础和机器学习知识的计算机专业人士深入理解和应用深度学习技术。该课程分为5个部分，涵盖了深度学习...
【吴恩达深度学习笔记】5.2自然语言处理与词嵌入Natural Language Processing and Word Embeddings
打瞌睡_的博客
12-07 364
第五门课 序列模型（Sequence Models） 2.1词汇表征（Word Representation） 2.2使用词嵌入（Using Word Embeddings） 2.3词嵌入的特性（Properties of word Embeddings） 2.4嵌入矩阵（Embedding Matrix） 2.5学习词嵌入（Learning Word Embeddings） 2.6Word2Vec 2.7负采样（Negative Sampling） 2.8GloVe词向量（Glove Word Vecto
吴恩达深度学习学习笔记——C5W2——自然语言处理与词嵌入——作业1——词向量的操作
预见未来to50的专栏
02-20 437
这里主要梳理一下作业的主要内容和思路，完整作业文件可参考: https://github.com/pandenghuang/Andrew-Ng-Deep-Learning-notes/tree/master/assignments/C5W2 作业完整截图，参考本文结尾：作业完整截图。 Operations on word vectors（词向量的操作） Welcome to your first assignment of this week! Because word embeddings ar
吴恩达-深度学习-课后作业-答案与总结
05-17
资源描述：【项目资源】：汇聚了云计算、区块链、网络安全、前端设计、后端架构、UI/UX设计、游戏开发、移动应用开发、虚拟现实（VR）、增强现实（AR）、3D建模与渲染、云计算服务、网络安全工具等各类技术项目的...
Deep AI 吴恩达深度学习-课程笔记
05-04
Deep AI 吴恩达深度学习-课程笔记 本文档是吴恩达老师深度学习课程(deeplearning.ai)的笔记，旨在帮助计算机专业人士掌握深度学习技术。课程共五堂课，涵盖深度学习的基础、神经网络的构建、卷积神经网络（CNN）、...
调试经验——Ryzen vs i7（AMD锐龙处理器与Intel i7处理器性能对比）
预见未来to50的专栏
01-25 1830
在运行深度学习案例时，无意发现Ryzen处理器性能要比i7高不少。 Ryzen:AMD Ryzen 5 4500U with Radeon Graphics, 2.38 GHz i7: 参考文章： 测试代码： 传统方法(classic): import time x1 = [9, 2, 5, 0, 0, 7, 5, 0, 0, 0, 9, 2, 5, 0, 0] x2 = [9, 2, 2, 9, 0, 9, 2, 5, 0, 0, 9, 2, 5, 0, 0] ### CLASSI...
吴恩达深度学习学习笔记——C3W2——机器学习策略2——练习题
预见未来to50的专栏
02-07 1130
C3W2 Quiz - Autonomous driving (case study) Ans: B Note: As discussed in lecture, applied ML is a highly iterative process. If you train a basic model and carry out error analysis (see what mistakes it makes) it will help point you in more p...
大语言模型生成式AI学习笔记——2. 1.4LLM指令微调——多任务指令微调
预见未来to50的专栏
04-30 1053
然而，它的表现并不像人类生成的基线摘要那样好，后者包括了诸如Mike询问信息以便于办理入住等重要信息，而模型的完成还捏造了原始对话中未包含的信息。虽然FLAN-T5是一个表现良好且适用于多种任务的通用模型，但你可能会发现它在你的特定用例的任务中还有改进的空间。在接下来的视频中，你将了解几个指标和基准，你可以使用它们来确定你的模型表现如何，以及你的微调版本比原始基础模型好多少。在许多轮次的训练中，通过计算示例的损失来更新模型的权重，结果得到了一个指令调整后的模型，学会了同时擅长许多不同的任务。
机器学习学习笔记——1.1.1.2.4 Unsupervised learning part 1（非监督学习——第1部分）
预见未来to50的专栏
09-14 1049
在无监督学习中，我们得到的是没有与任何输出标签y关联的数据，比如说你得到了关于病人和他们肿瘤大小的数据，以及病人的年龄。注意，“熊猫”这个词在这里、这里、这里、这里和这里出现，还要注意“双胞胎”这个词也在所有五篇文章中出现，“动物园”这个词也出现在所有这些文章中，所以聚类算法是在寻找当天互联网上成千上万篇新闻文章中提到的相似词汇的文章，并将它们分组到集群中。也许这就是你，那太好了，第二个组的主要动机是寻找发展职业的方法。我希望我能在你的旅程上帮助你，或者如果这是你，你想要的完全不同于其他三个类别的东西。
深度学习工程师能力模型
预见未来to50的专栏
02-23 1033
学习机器学习和深度已经有一段时间了，花费了不少精力和时间。那么，离实用阶段还有多远呢？先来看看以下深度学习工程师能力模型。 参考文章：https://www.cnblogs.com/wintersun/p/12900627.html 深度学习工程师能力评估标准主要面向软件相关行业的企业员工及社会人士，能力级别分为初级、中级、高级三个级别。深度学习工程师能力评估要素主要包括专业知识、工程能力、业务理解与实践共3大类、9小类。其中，专业知识包括编程基础、机器学习基础、神经网络基础、深度学习基础；工程能.
大语言模型生成式AI学习笔记——1. 1.3 大语言模型及生成式AI项目生命周期简介——​​​​​​​生成式AI及LLM，LLM用例及任务
预见未来to50的专栏
04-19 989
例如，你可以要求模型根据提示写一篇论文，总结对话，其中你提供对话作为提示的一部分，模型利用这些数据及其对自然语言的理解来生成摘要。现在，虽然生成式AI模型正在为多种模态创建，包括图像、视频、音频和语音，但在这门课程中，你将专注于大型语言模型及其在自然语言生成中的用途。提示被传递给模型，模型然后预测下一个单词，因为你的提示包含了一个问题，这个模型生成了一个答案。存储在模型参数中的语言理解是处理、推理并最终解决你给出的任务的过程，但同样真实的是，较小的模型也可以被微调以在特定的专注任务上表现良好。
吴恩达深度学习学习笔记——C5W1——循环序列模型（RNN）——练习题
预见未来to50的专栏
02-19 962
C5W1 Quiz - Recurrent Neural Networks Ans: A Ans: A Ans: B、D 4. Ans: C Ans: D Ans: B Ans: D Ans: C Ans: A Ans: C 1. Suppose your training examples are sentences (sequences of words)....
大语言模型生成式AI学习笔记——1. 2.4LLM预训练和缩放法则——​​​​​​​缩放法则和计算优化模型
预见未来to50的专栏
04-26 941
如果你固定你的计算预算，那么你用来提高模型性能的两个杠杆就是你的训练数据集的大小和模型中的参数数量。Chinchilla论文的一个重要结论是，对于给定的模型，最优的训练数据集大小大约是模型参数数量的20倍。Chinchilla论文暗示，许多像GPT-3这样的1000亿参数大型语言模型实际上可能是过度参数化的，意味着它们的参数超过了很好地理解语言所需的数量，也不是因为训练不足（undertrained）而需要更多训练数据。作者假设，如果训练在更大的数据集上，较小的模型可能能够达到与更大的模型相同的性能。
吴恩达深度学习学习笔记——C4W3——目标检测——作业——自动驾驶之车辆检测
预见未来to50的专栏
02-10 926
这里主要梳理一下作业的主要内容和思路，完整作业文件可参考: https://github.com/pandenghuang/Andrew-Ng-Deep-Learning-notes/tree/master/assignments/C4W3/Assignment/Car_detection_for_Autonomous_Driving 作业完整截图，参考本文结尾：作业完整截图。 Autonomous driving - Car detection（自动驾驶之车辆检测） Welcome to your
大语言模型生成式AI学习笔记——2. 2.4PEFT（参数高效微调）——实验2（对话总结生成式AI模型的调优）说明
预见未来to50的专栏
05-10 913
本周的实验室，让你亲自尝试使用PEFT和LoRA进行微调，通过提高Flan-T5模型的摘要能力。我的同事Chris将带你了解本周的笔记本。现在我把你交给他。现在让我们看看第二实验室。在第二实验室中，你将亲自动手进行完全微调和参数高效微调（也称为PEFT和提示指令）。你将为你的特定摘要任务，用你自己特定的提示进一步调整Flan-T5模型。让我们直接进入笔记本。第二实验室，我们将实际对模型进行微调。第一实验室，我们进行了零样本推断，情境内学习。
机器学习学习笔记——1.1.1.4.2 Linear regression model part 2（线性回归模型——第2部分）
最新发布
预见未来to50的专栏
09-14 910
更具体地说，这是一个单变量线性回归，其中“单变量”这个词意味着有一个单一的输入变量或特征x，即房子的大小。这个f_w b of x意味着f是一个函数，它接受x作为输入，根据w和b的值，f将输出一些预测y-hat的值。你的模型f，根据大小，输出价格，这是估计器，也就是对真实价格的预测。回忆一下，在监督学习中的训练集包括输入特征，比如房子的大小，以及输出目标，比如房子的价格。在后面的视频中，你还将看到一个回归的变体，在那里你想要根据关于房子你可能知道的其他一些事情进行预测，比如卧室数量和其他特征。
大语言模型生成式AI学习笔记——1. 2.1LLM预训练和缩放法则——​​​​​​​预训练大语言模型
预见未来to50的专栏
04-23 904
一旦你确定了你的使用案例，并决定如何在你的应用中使用LLM（大语言模型），你的下一步就是选择一个模型来工作。你的首个选择将是使用现有的模型，或者从头开始训练你自己的模型。这种增长是由诸如高度可扩展的转换器架构的引入、用于训练的大量数据的获取以及更强大的计算资源的开发等因素推动的。虽然这听起来很棒，但事实证明，训练这些巨大的模型是困难且非常昂贵的，以至于持续训练越来越大的模型可能是不可行的。现在你已经看到了这些不同模型架构是如何训练的，以及它们非常适合的具体任务，你可以选择最适合你的使用案例的模型类型。
吴恩达深度学习课程完整笔记：实战与证书指南
吴恩达深度学习课程笔记是一份针对吴恩达教授在Coursera平台上的deeplearning.ai系列课程的详细学习资料。这些课程旨在为那些具备基础编程知识（如Python）、对机器学习有一定了解，并希望进一步探索人工智能领域的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值