深度学习
文章平均质量分 65
thormas1996
关注机器学习,深度学习,联邦学习,推荐系统等相关内容
展开
-
讲座笔记 transfer learning via learning to transfer
transfer learning via learning to transferYing Wei突然发现一年前听过师姐的讲座,当时没来得及细看文章,更详细的笔记见:论文笔记背景:Transfer learning: 从标注数据多的领域到少的领域Research issue: when, how, what to transfer?有的语义相关,有的关联较少For...原创 2018-07-31 22:47:55 · 959 阅读 · 0 评论 -
seq2seq模型笔记
记一下一些坑tensorflow的版本很重要,强烈推荐tf-gpu 1.5或1.6tf新版本更新了beam search功能,不需要自己再实现了,infer用tf.contrib.seq2seq.BeamSearchDecoder即可,相比Greedy helper,只需要把output矩阵从原来的[batch_size, decoder_target_length]改成[batch_si...原创 2018-07-18 10:14:34 · 719 阅读 · 0 评论 -
attention机制
(一)tensorflow入门笔记(二)RNN,LSTM和GRU原理(三)attention机制(四)seq2seq实例详解背景:seq2seq模型decoder的初始状态一般直接设为encoder最后的隐藏层状态,但是这样输入中较早的信息很容易丢失,在文本较长的情况下decoder不能很好得获取对应的输入信息。有人提出类似人的注意力机制,给对应的输入部分一个更高的权重,使...原创 2018-07-26 00:25:49 · 2225 阅读 · 0 评论 -
讲座笔记:对抗学习+深度学习在语音上的应用
西工大谢磊老师的讲座:对抗学习+深度学习在语音上的应用原创 2018-07-07 16:50:32 · 766 阅读 · 0 评论 -
seq2seq实例详解(待完成)
seq2seq实例详解(待完成) 比较好的博客:https://blog.csdn.net/wangyangzhizhou/article/details/77883152https://blog.csdn.net/leadai/article/details/78809788原创 2018-07-25 00:25:45 · 790 阅读 · 0 评论 -
讲座笔记 如何解释模型
这周讲座的内容是一篇2016年KDD的文章 “why should I trust you?” Explaining the Predictions of Any Classifier,作者是华盛顿大学的Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin。最近欧盟出了一项法案: “In the regulation of algorithms...原创 2018-07-18 14:40:22 · 2319 阅读 · 0 评论 -
RNN,LTSM和GRU原理
(一)tensorflow入门笔记(二)RNN,LTSM和GRU原理(三)attention机制与tensorflow中attention的封装(四)seq2seq实例详解RNNRNN主要用来处理当样本是一定时间序列的情况,例如一段语音,一串文本等等。这类任务如果用CNN处理,很难反映出其时间上的特征 原理 Figure 1. RNN Structure时间为...原创 2018-07-11 09:41:09 · 3057 阅读 · 0 评论 -
深度学习笔记 简单神经网络反向传播的推导
最近手推了一下神经网络梯度更新中的参数偏导,做一个笔记。模型我们考虑一个非常简单的神经网络,输入embedding后只通过一个全连接层,然后就softmax输出预测值Created with Raphaël 2.2.0Input X: 1xnEmbedding Layer Z1 = WX: 1xNActivation Layer (Relu) Z2 = relu(Z1): 1xNFully ...原创 2019-05-23 16:17:16 · 308 阅读 · 0 评论