![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 93
简之
这个作者很懒,什么都没留下…
展开
-
自然语言处理中的Transformer
1、seq2seqseq2seq 是一个 Encoder–Decoder 结构的网络,它的输入是一个序列,输出也是一个序列, Encoder 中将一个可变长度的信号序列变为固定长度的向量表达,Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。这个结构最重要的地方在于输入序列和输出序列的长度是可变的,可以用于翻译,聊天机器人,句法分析,文本摘要等。seq2seq的结构如下:当然,目前说到seq2seq,最为人所熟知的就是Transformer,Transformer的结构如下:2原创 2021-07-05 22:43:09 · 704 阅读 · 2 评论 -
深度学习中的优化方法
深度学习中的优化方法:以下内容会包括下面几种优化方法:Gradient DescentAdagradMomentumRMSProPAdam1. Gradient Descent首先,Gradient Descent是我们最常用的优化方法,梯度下降的参数更新公式为:(1)θi=θi−1−η∇L(θi−1)\theta^i = \theta^{i-1} - \eta \nabla...原创 2019-05-06 13:54:07 · 744 阅读 · 1 评论 -
01.神经网络与深度学习课程总结 -- 吴恩达(deeplearning.ai)
1.3 浅层神经网络原创 2018-11-04 15:16:50 · 401 阅读 · 0 评论 -
02.改善深层神经网络课程总结 -- 吴恩达(deeplearning.ai)
1、深度学习的实用层面1.1 训练、验证、测试集对于一个需要解决的问题的样本数据,在建立模型的过程中,我们会将问题的data划分为以下几个部分:训练集(train set):用训练集对算法或模型进行训练过程;验证集(development set):利用验证集或者又称为简单交叉验证集(hold-out cross validation set)进行交叉验证,选择出最好的模型;...原创 2018-11-19 23:19:35 · 633 阅读 · 0 评论 -
tf.nn.embedding_lookup函数的工作原理
tf.nn.embedding_lookup函数的工作原理函数定义:tf.nn.embedding_lookup( params, ids, partition_strategy='mod', name=None, validate_indices=True, max_norm=None)官方解释:This function is use...原创 2019-05-01 15:04:43 · 684 阅读 · 0 评论 -
如何改善深层神经网络
对于深度学习,模型训练过程中可能会遇到一些问题,这些问题可能出自训练阶段,也可能出自测试阶段。训练阶段的问题主要是模型可能根本就train不出来,测试阶段的问题主要是过拟合的问题。对于不同的问题,我们采用不同的方法解决,解决方法如下图所示:我们分别就训练阶段和测试阶段来看一下具体问题,及其解决方法:(1)训练阶段:如果训练阶段发现模型根本就train不出来,常见的问题就是梯度消失或梯度爆炸...原创 2019-05-21 13:25:46 · 1702 阅读 · 0 评论