- 博客(6)
- 收藏
- 关注
RSS订阅原创 Multi-task中的多任务loss平衡问题
Multi-task中的多任务loss平衡问题GradNormGradNormGradNorm: Gradient Normalization for Adaptive Loss Balancing in Deep Multitask Networksmulti-task的损失函数:L(t)=∑wi(t)Li(t)L(t)=\sum{w_i(t)L_i(t)}L(t)=∑wi(t)Li...
2019-08-24 23:29:18
15082
原创 NCE(Noise Contrastive Estimation) 与negative sampling
NCE Noise Contrastive Estimation与negative sampling负例采样背景NCE(Noise Contrastive Estimation)Negative Sampling参考文献背景要解决的问题是, 当label太多, 导致使用传统的softmax 输出结果巨大, 计算不高效, 甚至无法实操的问题.比如:word2vec cbow的负例.或者其...
2019-08-22 23:43:23
1541
原创 RNN, LSTM, GRU
RNN, LSTM, GRULSTM 各部分重要性LSTM 各部分重要性去掉其中的某一个部件之后, 错误率的变化.CIFG结构类似GRU.参考:刘宏毅 深度学习
2019-08-04 14:19:27
187
原创 Life Long Learning
Life Long Learning目标遇到的问题,挑战:相关算法1. 抗遗忘: Elastic Weight consolidation(EWC)2. 抗遗忘: 训练能够生成之前task样本的模型3. 提升: Gradient Episodic Memory (GEM)4. Model Expansion1. Progressive Neural Networks2. Expert Gate3....
2019-08-03 23:34:28
542
原创 [2017-NIPS-GOOGLE] Attention is all your need
文章目录论文地址：主要方法结构:EncoderSelf-Attention三个矩阵的使用方法:ffnnadd & normDecoderEncoder-Decoder Attention论文地址：https://arxiv.org/pdf/1706.03762.pdf主要方法抛弃使用Recurrent 和convolutional neural networks的结果。 只使用Se...
2019-07-07 15:44:49
167
原创 [2017-JD] Deep Reinforcement Learning for List-wise Recommendations
论文地址https://arxiv.org/pdf/1801.00209.pdf主要思想：1、一次推荐多个item2、状态s 为之前用户动作果的N个item的顺序集合。更新方法： 每次推荐之后， 将用户动作过的item放入其中。没有动作果的item相当于丢弃掉了。3、动作a 为某次推荐的K个item。比如在 ttt 时刻的动作a={at1,at2,...atK}a=\{a_t^1...
2019-06-23 16:52:16
464
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人