CS224N NLP with Deep Learning - RNN

最新推荐文章于 2023-10-28 14:59:18 发布
最新推荐文章于 2023-10-28 14:59:18 发布
阅读量70 收藏
点赞数
分类专栏： NLP 文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43575791/article/details/114006586
版权

在这里插入图片描述

在这里插入图片描述
传统的语言模型基于计数的n-gram模型，需要大量内存，表现越好，所需内存越大
解决办法：递归神经网络rnn
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
实际上是在扩展每个时间步长上相同的矩阵，所以在某种程度上可以将这种矩阵乘法看作是一个在所有时间步长上反复放大某些特定模式的过程。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
F1本质上是精确率和召回率的调和平均值

じんじん
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CS244n NLP with Deep Learning | Winter 2019
chikeshi的博客
03-05 321
CS244n NLP with Deep Learning | Winter 2019 Lecture 1word2vecLecture 2 Lecture 1 word2vec 每一个单词可以变成一个vector, 相似的word vector也相似 word = [0.230.52−0.41−0.310.270.48]\begin{bmatrix} 0.23 \\ 0.52 \\ -0.41 \\ -0.31 \\ 0.27 \\ 0.48 \end{bmatrix}⎣⎢⎢⎢⎢⎢⎢⎡​0.230.5
CS224D Deep Learning for NLP lecture2
Nicoder的专栏
10-09 1322
斯坦福深度学习与自然语言处理课程是Richard Socher今年开的课程。他是德国人，本来学习的是机器视觉。在斯坦福大学博士毕业，师从Andrew Ng和Chris Channing学习机器学习和NLP，毕业后也成为一个大牛。本人小白一枚，花了好长时间才消化了课程的视频和课件，为了防止以后忘记，在这里纪录一下。先放上该课程的官网镇楼：http://cs224d.stanford.edu/sylla
CS224n NLP with Deep Learning（1）：Introduction NLP与深度学习入门
拾遗
11-21 283
引言 课程笔记：笔记pdf youtube观看链接：youtube列表 bilibili观看链接：斯坦福CS224n 本讲主要包括四个方面： 什么是自然语言处理？ 什么是深度学习？ 为什么language理解起来困难？ 关于NLP的深度学习 1. 什么是自然语言处理？ 自然语言处理（Natural Language Processing）是计算机科学（Computer Scien...
Task 3: Subword Models （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）
南有芙蕖
06-29 7371
Task 3: Subword Models 目录Task 3: Subword Models 理论部分 回顾 word2vec 和 glove，并介绍其所存在问题 介绍 n-gram 思想 介绍 FastText 模型 回顾： word2vec 和 glove，并介绍其所存在问题 GloVe (global vectors for word representation) 与word2vec，两个模型都可以根据词汇的 “共现 co-occurrence” 信息，将词汇编码成一个向量（所谓共现，即语料中
NLP-with-Deep-Learning:斯坦福CS224n的自学笔记和代码
03-20
《深度学习驱动的自然语言处理：斯坦福CS224n自学笔记与代码解析》 在当今信息爆炸的时代，自然语言处理（NLP）已成为人工智能领域的重要分支，它旨在让计算机理解和生成人类语言，实现人机之间的高效沟通。斯坦福...
cs224n-2019-winter:CS224n的所有讲义，幻灯片和作业
05-23
斯坦福大学的CS224n课程是深度学习领域的一门重要课程，专注于自然语言处理（NLP）。2019年冬季的版本包含了丰富的学习资源，如讲义、幻灯片和作业，为学生提供了深入理解NLP与深度学习技术的平台。同时，课程还提供...
cs224n-winter-2017：CS224n的所有讲义，幻灯片和作业：斯坦福大学的自然语言处理与深度学习课程
02-03
斯坦福大学的CS224n课程是自然语言处理（NLP）领域的一门重量级课程，重点探讨了如何利用深度学习技术解决NLP问题。课程内容包括了广泛的理论知识和实践技能，旨在帮助学生深入理解NLP的原理，并掌握最新的深度学习...
CS224n：CS224n：具有深度学习任务的自然语言处理，2017年冬季
02-04
CS224n CS224n：采用深度学习作业进行自然语言处理，2017年冬季要求Python 2.7 TensorFlow r1.2作业1 softmax神经网络基础word2vec 情绪分析作业＃2 Tensorflow Softmax 基于神经过渡的依存关系解析924/924 [=======...
斯坦福大学CS224：深度自然语言处理NLP课程课件
02-21
斯坦福大学的CS224课程，全称"深度自然语言处理"（Deep Natural Language Processing），是计算机科学领域的一门核心课程，专门探讨如何利用深度学习技术解决自然语言处理问题。这门课程由世界级的专家教授讲授，...
论文阅读——InstructGPT
最新发布
weixin_43575791的博客
10-28 1117
从这些提示（提交给OpenAI API的文本提示和标注者自己写的）产生三个微调阶段的数据集：SFT(Supervised fine-tuning) dataset（约13K提示，从API和手写获得），RM dataset（约33K提示，从API和手写获得），PPO dataset（约31K提示，只从API获得）。InstructGPT模型最早版本的提示是标注者自己写的，这是因为我们需要一个类似指令的提示的初始来源来引导进程，而这些类型的提示并不经常提交给API上的常规GPT-3模型。
论文阅读——GPT3
weixin_43575791的博客
10-27 937
因此需要消除这个限制。解决这些问题的一个潜在途径是元学习——在语言模型的背景下，这意味着该模型在训练时发展了一系列广泛的技能和模式识别能力，然后在推理时使用这些能力来快速适应或识别所需的任务（如图1.1所示）模型结构和GPT2一样，但是改了初始化、预归一化、reversible tokenization，以及在transformers层中使用类似Sparse Transformer的交替密集和局部稀疏的注意力模式。关于“zero-shot”, “one-shot”, or “few-shot”
论文阅读——BART
weixin_43575791的博客
10-27 878
Token Deletion：随机抽取到的token删除（Token Masking是抽取到的token用mask代替，这个是随机抽取到的token删除），模型可以学习到什么位置的token丢失了。input：被破坏的文本-->bidirectional encoder-->left-to-right autoregressive decoder-->output。Document Rotation：文章中随机找到一个token，将文章翻转，以该token作为文章的开头。二、Loss：交叉熵。
论文阅读——BERT
weixin_43575791的博客
10-27 727
损失函数-最大似然，首先在TriviaQA上微调，然后在SQuAD 上微调）、SQuAD v2.0（没有在TriviaQA上微调）、The Situations With Adversarial Generations (SWAG)2）训练两个子任务：Masked LM（MLM）,Next Sentence Prediction (NSP)预训练参数初始化，针对不对任务在有标签数据的所有参数微调，不同任务各自单独微调。双向预训练模型——通过训练MLM子任务获得。二、训练：两阶段训练——预训练和微调。
论文阅读——ELECTRA
weixin_43575791的博客
10-27 635
G：给定位置t，将该位置token替换为mask，输入到G，G输出一个概率，结合softmax层，来产生mask位置的xt，从而G产生损坏的输入。输出只在mask的token中计算分数，不是所有的token。然后训练模型时并不是只被破坏的token，而是训练一个辨别模型来预测这些被破坏的输入的每一个token是否是被生成模型生成的样本替代的。输出只在mask的token中预测是不是真的，不是所有的。不是对选择的token直接用mask替代，而是替换为一个生成器网络产生的token。
论文阅读——RoBERTa
weixin_43575791的博客
10-27 479
最初的BERT实现使用大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。RoBERTa使用包含50K子词单元的较大字节级BPE词汇表来训练BERT，而无需对输入进行任何额外的预处理或标记化。一、LM效果好但是各种方法之间细致比较有挑战性，因为训练耗费资源多、并且在私有的不同大小的数据集上训练，不同超参数选择对结果影响很大。使用复制研究的方法对BERT预训练的超参数和数据集的影响细致研究，发现BERT训练不够，提出训练BERT的方法RoBERTa。
论文阅读——DistilBERT
weixin_43575791的博客
10-27 429
DistilBERT具有与BERT相同的一般结构，层数减少2倍，移除token类型嵌入和pooler。从老师那里取一层来初始化学生。大batch,4k,动态mask,去掉NSP。训练数据：和BERT一样。
CS224N NLP with Deep Learning - CNN
weixin_43575791的博客
02-25 100
应该了解每个参数对你有多重要 做消融试验很重要
CS224N NLP with Deep Learning - backpropagation
weixin_43575791的博客
02-24 97
It is really important to have an actual understanding of the math behind most of deep learning. And in many cases, in the future, you will kind of the way backpropagation. You’ll just kind of assume it works based on a framework, software package that you

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值