NLP深度学习 —— CS224学习笔记7

最新推荐文章于 2022-04-12 13:27:12 发布
最新推荐文章于 2022-04-12 13:27:12 发布
阅读量1k 收藏
点赞数
分类专栏： NLP 文章标签： NLP 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangli0519/article/details/77656999
版权

2、神经网络技巧和贴士

2.1 梯度检查

我们讨论了用微分来计算神经网络模型中参数的误差梯度，这里讨论另一种近似技巧，不需要误差反向传播。

其中

这种方法计算成本极其高，要使用两次前向传播，但是一种验证反向传播的好方法。

一个简单的梯度检查可以用以下方法实现

2.2 正则

我们使用L2正则防止过拟合

是Frobenius范数。

使用这样的约束可以解释为先验贝叶斯信任，优化的权重接近0。

2.3 神经单元

常用的激活函数有以下几种

Sigmoid

梯度为

Tanh

梯度为

Hard tanh

计算代价更小，但对于z级数大于1时饱和

导数可表达为



Soft sign

导数可表达为

sgn是signum函数，返回1或-1，依赖于z的符号。

ReLU

导数为

Leaky ReLU

导数为

2.4 Xavier参数初始化

Xavier等发现，对于sigmoid和tanh激活单元，更低的误差率和更快的聚合可以通过将矩阵权重W随机初始化为下列范围内的均匀分布

n_(l)是输入单元，n_(l+1)是输出单元

这里bias单元初始化为0

这种方法试图在层之间保持激活振动和反向传播梯度振动，否则梯度振动（信息的代理）一般会随着层间反向传播递减。

2.5 学习速率


我们碰到的大多数模型是non-convex模型，大的学习速率难以预测因为很大机会损失函数会发散。

Ronan等提出了，其中a0是初始速率，t是何时速率开始递减。

2.6使用AdaGrad

与标准随机梯度下降的区别在于学习速率可对每个参数不同。每个参数的学习速率依赖于这个参数的梯度更新历史，对于此前更新少的参数使用更大的学习速率以使它更快更新。

如果梯度的历史RMS非常低，则学习速率会非常高，简单实现如下


wangli0519
关注
专栏目录
Deep Cauchy Hashing for Hamming Space Retrieva （2018）阅读笔记
dengdeliao的博客
11-01 1353
Deep Cauchy Hashing for Hamming Space Retrieva论文小结 （2018年） 背景： 由于其计算效率和检索质量，散列已被广泛应用于近似最近邻搜索的大规模图像检索，而深度散列通过端到端表示学习和散列编码进一步提高了检索质量。通过紧凑的哈希码，汉明空间检索能够实现最有效的恒定时间搜索，通过哈希表查找而不是线性扫描，将给定汉明半径内的数据点返回到每个查询。 问题：...
cs224n assignment 2 代码
新垣结衣法定男友的博客
08-17 2551
cs224n assignment 2 代码作业与运行结果
NLP深度学习 —— CS224学习笔记8
wangli0519的博客
08-29 753
关键词：语言模型，RNN，双向RNN，深度RNN，GRU，LSTM 1、语言模型 语言模型计算在一个特定序列中一组词出现的概率。一般由一个窗口内之前的n个词决定。 这个公式对于语言和翻译系统确定一个词序列是否是准确翻译尤其有用。 现有的语言翻译系统中，对每个词组/句子翻译，软件生成一些可替换词组，例如I have, I had, I has, me have, me had等，然后对它
NLP深度学习 —— CS224学习笔记9
wangli0519的博客
08-30 615
2.1梯度爆炸或消失 计算RNN的误差，我们计算每一步的误差并累加 每一步的误差通过微分链法则进行 在[k, t]时间区间内对于所有隐藏层的计算 每个是h的雅各宾矩阵 结合上述表达，我们得到 beta_w和beta_h代表两个矩阵范式的上限值。每个t时间戳偏分梯度的的范式 两个矩阵的范式通过L2正则来计算。 容易变得很大或很小，导致梯度爆炸或消失。 2
NLP深度学习 —— CS224学习笔记2
wangli0519的博客
08-21 886
基于迭代的方法 相对于对数十亿的句子进行计算并储存其全局信息，我们尝试构建模型每次学习一个迭代来编码语境中词的概率。 我们对已知和未知的参数设置概率模型，每次训练一个样本，学习基于输入的未知参数的一部分信息，以及模型期望的输出。 每次运行模型，我们评估误差，遵循更新规则，并对引起误差的模型参数进行惩罚。这个理念早在1986年就已存在，即误差的反向传播方法。 1、语言模型（unigram，
NLP深度学习 —— CS224学习笔记10
wangli0519的博客
08-31 929
2.3 深度双向RNN 到目前我们都是使用以前的词来预测后面的词。 双向深度神经网络是在每个时间点t，同时有2个隐藏层，一个从左往右传播，一个从右往左传播。 最后的分类结果有两个的结合产生。 方程式表达为 多层的深度结构为 2.4 应用：RNN翻译模型 我们讨论有RNN来替代传统翻译模型的可能性。 这里前3个隐藏层时间点编码来源语言，后2个将h3解码到目标语
NLP深度学习 —— CS224学习笔记 1
wangli0519的博客
08-20 2834
关键词： 自然语言处理， 词向量， 奇异值分解， Skip-gram， 连续词袋（CBOW）， 负抽样 一、简介 自然语言处理任务 简单： 拼写检查， 关键词搜索， 找同义词 中度： 从网页、文件解析信息 困难： 机器翻译， 语义解析， 指代， 问题回答 使用词向量可以把词编码成向量然后通过计算距离来判断相似性，可使用Jaccard, Cosine, Euclidean等 二、词
NLP深度学习 —— CS224学习笔记3
wangli0519的博客
08-22 678
四、3、 Skip-Gram 模型 另一种方法是得到中间的词，然后由模型来预测或生成周边的词。这种模型被成为Skip-Gram模型。 设置与此前的CBOW大致相同，只是调换了x和y的顺序。 具体可以分解成6步： 1）生成one hot 向量 x 2)得到语境的嵌入词向量 3）将 4）生成2m得分向量使用 5）将每个得分转换成概率y=softmax(u) 6）期望生成的概率
NLP深度学习 —— CS 224学习笔记 11
wangli0519的博客
09-02 1109
关键词： RNN， 递归神经网络， MV-RNN， RNTN 1、递归神经网络 递归神经网络是循环神经网络的一个超集 使句子的输入向量规模相同，而不论句子的长度不同，这样我们可以输入任意长度的句子。 想象我们的任务是接收一个句子，然后将它体现成与词相同语义空间的一个向量。这样下面三个句子的距离会非常相近。 I went to the mall yesterday. We wen
NLP深度学习 —— CS224学习笔记4
wangli0519的博客
08-23 702
关键词：内在和外在评估，相似评估任务中超参数的影响，人类判断和词向量距离的相关性，用语境处理词歧义，窗口分类。 词向量和词嵌入交叉使用 1、词向量评估 我们讨论了例如Word2Vec和GloVe等方法，来训练和发现语义空间中自然语言词的隐含向量表征。 现在来定量评估这种技巧产生向量的质量。 1）内在评估 考虑一个例子，最终目的是建立一个问答系统，使用词向量作为输入。 一种方法是训练一个
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
2019斯坦福CS224n深度学习自然语言处理笔记（1）——绪论与Word2Vec
刘炫320的博客
04-04 1924
本文内容整理自2019年斯坦福CS224n深度学习自然语言处理课程，其笔记为本人听课心得，重点在于对于知识内容的思考，并非课程原文笔记，应称为课后笔记。 1.绪论 在本堂课中，其基础技能需要懂得并应用：Ipython，numpy和Pytorch。其他的关于自然语言处理和深度学习，上了这堂课，你就会了解。 1.1 语言的来源 语言，语言是传递信息的声音和文字，是人类沟通的主要方式（其他方式包括图像、...
2019斯坦福CS224n深度学习自然语言处理笔记（3）——分类模型与神经网络
刘炫320的博客
04-11 821
前两章算是引言，主要介绍了什么是自然语言处理，以及自然语言处理中最基础的工作——如果和表示词的意思的相关工作。接下来，主要介绍一下分类模型和神经网络，并以命名实体识别和词窗口分类举例说明。最后简要介绍一下矩阵运算。 1. 什么是分类？ 为了给没有基础的同学介绍一下背景，这里首先简要介绍一下分类。所谓的分类就是给定输入X，通过分类模型后，获得输出y，其中y是一个离散的值（可能有2个值，也可能有10个...
CS224N深度学习NLP笔记（持续更新）
Eveningtidenaf的博客
06-01 795
(2019)斯坦福CS224n深度学习自然语言处理课程笔记与参考资料
win64 CC2022.zip
09-21
SmartTools InDesign插件
深度学习课程的课程设计-------基于ResNet优化模型的阿尔茨海默症的识别.zip
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
机械设计课程设计说明书_带式输送机传送装置_西北工业大学.doc
最新发布
09-21
机械设计课程设计说明书_带式输送机传送装置_西北工业大学.doc
风格化欧洲城镇建筑场景模型：Modular European Town v1.1
09-21
使用 “模块化欧洲小镇” 包来改变你的游戏世界！这个套装提供了你设计一个充满活力的低多边形城市所需的一切。 套装包括： 模块化建筑：各种结构可创造多样化的建筑设计。 自然元素：树木、灌木丛和植物，以增加你的小镇的绿色景观。 基础设施：道路、人行道、边界和墙壁，以构建一个逼真的布局。 不同的道具：很多物品，如消防栓、路灯、咖啡馆桌椅、垃圾桶、长椅等等。 所有模型都采用低多边形美学制作，确保出色的性能和独特的视觉风格。这个套装非常适合所有平台上的游戏：移动设备、桌面电脑和虚拟现实。它易于使用且高度可定制，让你轻松构建自己独特的欧洲风格小镇。用 “模块化欧洲小镇” 将你的愿景变为现实！（解释说明：“lowpoly” 即低多边形，是一种在游戏和数字艺术中常用的风格，以较少的多边形数量来呈现模型，通常具有简洁的外观和较好的性能表现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值