NLP学习笔记（9）

最新推荐文章于 2024-10-24 23:59:02 发布
最新推荐文章于 2024-10-24 23:59:02 发布
阅读量177 收藏
点赞数
分类专栏： NLP 文章标签： 深度学习 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44326452/article/details/105572144
版权

目前深度学习的NLP存在一些局限性，比如通过自监督学习学得一个很好的模型真正理解语言的奥义（需要大量的标注信息）
在这里插入图片描述
第一个难题就是没有一个模型可以在所有的任务上取得好效果，之前提到的dynamic memory network就是为了来解决 这个问题的
在这里插入图片描述
第二个难题是没有办法共享多任务之间的参数，也就是说没有办法用一个模型去jointly训练多任务
在这里插入图片描述
下面这篇论文是为了解决上面这个问题的：其中第三部分的dependency parsing是做一个二分类问题，对每一对单词判定是否有依存关系，很简单，但是却有效，虽然可能生成一些不合法的语法树但是这是少数，可以加一些剪枝等机制来处理这些少数。训练的时候要分步训练，训练完上一个任务训练下一个任务的时候要对上一个任务的参数的变化设惩罚项使得一开始不会把训练好的参数又弄乱掉
在这里插入图片描述
在这里插入图片描述
第三个问题：训练时没见过的单词预测不出来。可以用之前讲过的很多方法解决，比如直接复制输入之类的。
在这里插入图片描述
第四个问题：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
解决方法：
在这里插入图片描述
在这里插入图片描述
解决方法：CNN
在这里插入图片描述
在这里插入图片描述
下面讲的这篇论文实现了记忆功能，很有意思，有时间可以找来看看。这里的记忆是指，如果说LSTM的记忆是缓存cach，那么这个记忆应该是内存RAM
在这里插入图片描述
欧耶完结撒花：谢谢雷锋字幕组——优秀的搬运工，虽然翻译做得还不是很好哈哈哈
在这里插入图片描述

ssf-yasuo
关注
专栏目录
NLP学习笔记一（小白上手）
03-06 425
自然语言处理简介# 研究人与计算机之间用自然语言进行有效通信的理论与方法。融语言学、计算机科学、数学等一体的科学。旨在从文本数据中提取信息，目的是让计算机理解或处理自然语言，以执行自动翻译、文本分类、情感分析等。 入门基础# 1）数学基础线性代数、概率论、统计学； 2）语言学基础：语音、词汇、语法 3）Python基础 4）机器学习基础：统计学习方法、机器学习周志华 5）深度学习基础：CNN、RNN、LSTM 6）自然语言处理理论基础：统计自然语言处理、Python自然语言处理、数学之美
自然语言处理学习笔记nlp-tutorial
01-27
自然语言处理（Natural Language Processing，NLP）是计算机科学、人工智能和语言学领域的一个交叉学科，主要研究如何让计算机能够理解、处理、生成和模拟人类语言的能力，从而实现与人类进行自然对话的能力。...
NLP自然语言处理学习笔记
qq_41386947的博客
11-07 840
这是一份自然语言处理学习与实践的笔记，作者刚开始是具备基础的编程能力、了解机器学习的基本概念、但是没有NLP领域的实践经历的小白。目的是理解NLP的逻辑和原理，掌握文本分类/情感分析及相关的实践能力，能运用在实际问题的解决中。
NLP学习笔记
m0_72410588的博客
05-04 175
自然语言处理（Natural Language Processing，NLP）是通过计算机技术来处理人类语言的一门技术。其目标是让计算机能够读懂、理解、甚至产生自然语言。
NLP学习笔记2-简介
08-22 441
自然语言处理（NLP）是使计算机能够理解和生成人类语言的关键技术，它结合了语言学、计算机科学和人工智能的知识与方法。通过 NLP，我们可以构建各种智能系统，从简单的文本分类到复杂的对话系统和机器翻译。随着技术的发展，NLP 的应用范围不断扩大，正逐步改变我们与技术互动的方式。自然语言处理（NLP，Natural Language Processing）是人工智能和计算机科学的一个重要分支，旨在使计算机能够理解、生成和处理人类语言。
【NLP自然语言处理学习笔记05attention】
CrazyDog_JJ的博客
07-05 203
在start第一个词的时候就考虑了分布情况，并且每次都会考虑权重的情况。W(Q)、W(K)、W(V)是学习得到的参数。
NLP学习笔记三-数据处理基础
weixin_43327597的博客
06-08 913
count word frequencies其实顾名思义，就是统计词频，这一步其实是在Tokenization的基础上进行的，首先我们需要先对文本进行Tokenization操作，然后，统计有多少种词语，再统计这些词语分别的个数。[to ，be]->[2,4]，将单词因此其对应的索引值，为什么这里可以不用将单词映射成向量，因为在这里我们。NLP当中的Tokenization，博主以前无论是在文章中还是在代码中都能经常看到，这在自然语言处理中也是比较常用的技术。统计词频可以用于保留常用词去掉低频词。
NLP学习路线（其实就是个汇集了所有经典模型的自然语言处理学习笔记）
qq_52670137的博客
11-15 1410
这是我整理的关于NLP较为详细的一个学习路线笔记，从词向量word embedding开始，rnn、lstm、seq2seq（attention）、transformer，直到bert结束。每个模型都将相关挑选的合适资料找出，便于整体学习。
中文自然语言处理学习笔记（一）——NLP环境配置
weixin_68955195的博客
03-11 2916
中文自然语言处理--大学生l~l~long的自学笔记
NLP 学习笔记9-停用词
bohu83的博客
01-19 1658
一 序 本文属于NLP学习笔记系列。 二 停用词 对于NLP的应用，我们通常将停用词、出现频率很低的词过滤掉。 关于停用词词典，可以看下之前的：文本预处理与停用词 这个主要是对业务影响不大，不影响分析，类似于特征筛选的过程。 要考虑自己的应用场景。 case：一些形容词通常会过滤掉，但是在情感分析中表达语气要保留。 自己会做修改。 三 词的标准化 这块就是英文的。举例：went,go,going 时态不同，还有单复数，比较级等等。 设计技术： stemming ...
【NLP】自然语言处理学习笔记（三）语音合成
兴趣使然的创作者
06-19 2735
本笔记参考的课程是李宏毅老师的自然语言处理 课程Link：https://aistudio.baidu.com/aistudio/education/lessonvideo/1000466语音合成(TTS)指的是将文字信息转换成语音信息，这在各种自媒体工具上非常常见。 在端到端的模型出现之前，已经有人将深度学习应用在了语音合成之中。 下图中展示了Deep Voice初代结构，它用了四个模型。 首先，它将输入的文本信息(text)输入到Grapheme-to-phoneme转化成音位(phoneme)，然后分
Pytorch、NLP学习笔记
03-01
《PyTorch与自然语言处理学习笔记》 PyTorch是一个强大的深度学习框架，由Facebook的AI研究团队开发，以其灵活性和易用性受到了广大研究人员和开发者们的喜爱。本笔记将深入探讨PyTorch在自然语言处理（NLP）领域的...
属于一枚普通学生的NLP学习笔记
05-07
### 自然语言处理（NLP）中的神经网络语言模型（NNLM） #### 一、神经网络语言模型（NNLM）的起源与核心思想 在自然语言处理领域中，神经网络语言模型（Neural Network Language Model, NNLM）是研究的核心之一。...
斯坦福CS224n_自然语言处理与深度学习 笔记
09-28
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门高级计算机科学课程，专注于自然语言处理（NLP）领域的深度学习技术。这门课程涵盖了广泛的NLP主题，从基础的文本预处理到复杂的深度学习模型，如...
ADAMG——深度学习无参数优化的新时代
知来者逆的博客
10-24 639
黄金步长的引入是为了在保持 AdaGrad-Norm 收敛性能的同时，接近预期的最佳步长。这种步长与具体问题的特征无关，有望在各种训练条件下促进一致有效的收敛（见图 1）。ADAMG 是一种基于 AdaGrad-Norm 的无参数优化算法，它使用黄金步长为各种优化任务自动提供最佳学习率。实验结果表明，与传统优化方法相比，ADAMG 具有更高的稳定性和效率。特别是在计算资源有限或处理大型数据集的情况下，该算法可以有效地保持高性能，同时减少人工调整的工作量。
基于深度学习的音乐生成与风格转换
最新发布
weixin_42605076的博客
10-24 1108
音乐风格通常由节奏、和声、旋律、乐器编制、音色等要素决定。风格转换的核心在于保持音乐作品的核心旋律、节奏或主题不变的前提下，调整其和声、伴奏模式或音色以适应目标风格。基于深度学习的音乐生成与风格转换技术具有广泛的应用潜力，不仅能够自动创作出新颖的音乐作品，还可以实现不同风格之间的无缝转换。随着模型性能的不断提升和应用场景的扩展，这一领域将在未来为音乐创作、娱乐和教育等领域带来更多的创新与变革。
从0开始深度学习（19）——参数管理
立志成为炼丹师？
10-24 1248
w∼U510可能性140可能性12U−10−5可能性14U(5, 10) & \text{ 可能性 } \frac{1}{4} \\0 & \text{ 可能性 } \frac{1}{2} \\U(-10, -5) & \text{ 可能性 } \frac{1}{4}w∼⎩⎨⎧​U5100U−10−5​可能性41​可能性21​可能性41​​​​w从均匀分布U510中取值。
《深度学习：探索未来的智能之路》
zheng_ruiguo的专栏
10-23 1466
1943 年，第一个人工神经元模型由 McCulloch 和 Pitts 提出，单个神经元有三个树突接口，输入信号经过加权求和等运算，若结果大于某一阈值，则激活输出。1958 年，Frank Rosenblatt 等人将单个仿生神经元内的权值设置为可更新，提出感知机，根据有监督学习调整权值，但感知机只能解决线性可分问题。很快，初期的多层感知机被提出，虽只能修改中间层至输出层参数，但在一定程度上解决了线性不可分的复杂函数拟合问题。
深度学习调参大法
Joker 007的博客
10-24 1092
深度学习调参大法
自然语言处理5000学习笔记
05-13
很高兴看到你对自然语言处理感兴趣！以下是一些可能有用的学习笔记： 1. 自然语言处理是一门交叉学科，涉及语言学、计算机科学、统计学、数学等多个学科。...希望这些笔记能对你的自然语言处理学习有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值