深度学习笔记
文章平均质量分 68
樱夕夕
coder
展开
-
深度学习优化问题
Learning Rate学习速率应通过训练成本来确定,如果训练成本一直在降低,且降得比较快,那么可适当调大学习速率。否则,应该取较小的学习速率避免“步长太大,越过谷底”。因为学习速率仅仅影响着最终的准确率,所以没必要选择验证集。Hidden Units/Layers隐藏层层数、隐藏节点个数等超参数应当通过验证集准确率来判断。因为这些超参数都是为了在测试集合上有一个好的表现,而验证集合是某种意义上在转载 2017-03-22 09:27:24 · 632 阅读 · 0 评论 -
BatchNormalization 原理及代码实现
转载自:http://blog.csdn.net/elaine_bao/article/details/50890491原理讲解本次所讲的内容为Batch Normalization,简称BN,来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,是一篇很好的转载 2017-04-09 11:58:59 · 5563 阅读 · 1 评论 -
深度学习各种优化函数详解
深度学习中有众多有效的优化函数,比如应用最广泛的SGD,Adam等等,而它们有什么区别,各有什么特征呢?下面就来详细解读一下一、先来看看有哪些优化函数BGD 批量梯度下降所谓的梯度下降方法是无约束条件中最常用的方法。假设f(x)是具有一阶连续偏导的函数,现在的目标是要求取最小的f(x) : min f(x)核心思想:负梯度方向是使函数值下降最快的方向,在迭代的每一步根据负梯度的方向更新x的值,从而求原创 2017-04-12 19:47:00 · 37486 阅读 · 3 评论 -
未登录词处理优秀论文——Pointing the Unknown Words
论文: 《Pointing the Unknown Words》 作者: Caglar Gulcehre、Sungjin Ahn、Ramesh Nallapati、Bowen Zhou、Yoshua Bengio这篇论文主要是解决低频词和未出现(在测试集中)词的问题——统称“未登录词问题”。 采用了注意力模型。本文的思想是在遇到未登录词时,不要简单的将其记作:UNK,而是将未登录词分作两种情原创 2017-05-03 10:36:02 · 3888 阅读 · 0 评论 -
关于QA的一些idea
1.《Dynamic Coattention Networks For Question Answering》提到一种对问题可能的解释方案是将其映射到文档空间。one possible interpretation for this is the mapping of question encoding into space of document encodings.这篇论文采用LSTM分别对QD原创 2017-05-16 17:19:02 · 590 阅读 · 0 评论 -
多任务融合的模型
**1.Multi-task Learning with Weak Class Labels: Leveraging iEEG to Detect Cortical Lesions in Cryptogenic Epilepsy** 使用弱类标签的多任务学习:利用iEEG检测癫痫中的皮层病变论文的模型提出一个多任务的学习方式,它主要在于计算了标签的可靠性,并且根据这个值进行更好的多任务学习。采用了原创 2017-05-04 16:34:00 · 3417 阅读 · 0 评论 -
linux shell循环操作 + word2vec词向量训练/聚类的参数解释
比如我要执行: ./word2vec -train CGJJ_split.txt -output classes_X.txt -cbow 0 -size 200 -window 5 -negative 0 -hs 1 -sample 1e-3 -threads 12 -classes X 一个操作。现在希望将上述命令的X作为变量,循环执行那么将X改为i变量,执行for循环,同时将原命令里的i用$原创 2017-08-30 09:38:16 · 882 阅读 · 2 评论 -
Synonyms-Chinese Synonyms for Natural Language Processing and Understanding
Synonyms Chinese Synonyms for Natural Language Processing and Understanding.最近需要做一个基于知识图谱的检索,但是因为知识图谱中存储的都是标准关键词,所以需要对用户的输入进行标准关键词的匹配。 于是采用了基于同义词库的方式,将《非标准表述》 映射到 《标准表述》,这就是Synonyms的起源。下面我们来仔细聊聊Synony原创 2017-10-12 09:39:17 · 737 阅读 · 0 评论 -
Language Model perplexity by using tensorflow使用tensorflow RNN模型计算语言模型的困惑度
LM perplexity by using tensorflow1、Language model perplexity是衡量语言模型好坏的重要指标,其计算公式P(sentence)^-(1/N)2、tensorflow的RNN模型如何使用 参考API文档:tf.contrib.legacy_seq2seq.sequence_loss_by_example,这个函数会返回一个大小为N的列...原创 2018-05-08 18:44:02 · 2396 阅读 · 0 评论