深度学习
文章平均质量分 75
Shingle_
Done is better than perfect.
展开
-
深度学习入门心得——书籍、课程、文档推荐
MOOCsHinton 的 neural networksStanford的CS231n: Convolutional Neural Networks for Visual RecognitionStanford的 CS224d: Deep Learning for Natural Language Processingdeeplearning.aiMXNet团队《 动手学深度...原创 2016-07-25 23:08:37 · 10797 阅读 · 1 评论 -
深度学习在搜索广告查询词关键字匹配中的应用
搜索引擎里的广告系统Search AdvertisingDifferent names: Search ads; Paid search; Sponsored searchAd types: Text ads; Product adsAds Selection将Query跟keywords匹配。传统匹配方法:Deep Structured Semantic Mode...原创 2018-09-21 16:22:59 · 1739 阅读 · 0 评论 -
RNN-LSTM-GRU
循环神经网络(Recurrent Neural Network, RNN)假设 Xt∈Rn×dXt∈Rn×d{X}_t \in \mathbb{R}^{n \times d} 是序列中时间步 t 的小批量输入 Ht∈Rn×hHt∈Rn×h{H}_t \in \mathbb{R}^{n \times h} 该时间步的隐藏层变量。跟多层感知机不同在于这里我们保存上一时间步的隐藏变量 Ht−1H...原创 2018-09-06 22:28:37 · 1511 阅读 · 0 评论 -
深度学习中的优化算法和策略
绝大多数深度学习中的目标函数都很复杂。因此,很多优化问题并不存在解析解,而需要使用基于数值方法的优化算法找到近似解。这类优化算法一般通过不断迭代更新解的数值来找到近似解。我们讨论的优化算法都是这类基于数值方法的算法。非凸优化的阻碍:局部最小值、鞍点。梯度下降批量梯度下降 (batch gradient descent)在每一轮自变量迭代里,梯度下降使用整个训练数据集来计算梯...原创 2018-09-03 21:28:08 · 1884 阅读 · 0 评论 -
迁移学习(Transfer Learning)
将从源数据集学到的知识迁移到目标数据集上微调(fine tuning)微调通过将模型部分权重初始化成在源数据集上预训练的模型权重,从而将模型在源数据集上学到的知识迁移到目标数据上。在源数据(例如 ImageNet)上训练一个神经网络 A。创建一个新的神经网络 B,它复制了 A 上除了输出层外的所有模型参数。我们假设这些模型参数含有源数据上学习到的知识,且这些知识同样适用于目标数...原创 2018-09-03 20:57:06 · 1395 阅读 · 0 评论 -
编码器—解码器(seq2seq)+ Attention
输入和输出都可以是不定长序列,例如机器翻译、图像描述在训练数据集中,我们可以在每个句子后附上特殊符号“”(end of sequence)表示序列的终止。编码器编码器的作用是把一个不定长的输入序列变换成一个定长的背景变量 c,并在该背景变量中编码输入序列信息。常用的编码器是循环神经网络。循环神经网络隐藏层的变换: ht=f(xt,ht−1).ht=f(xt,ht−1).{h...原创 2018-09-08 14:54:10 · 15978 阅读 · 0 评论 -
Softmax数值不稳定问题
数值计算上溢和下溢计算机通过有限数量的位模式来表示无限多的实数,总会引入一些近似误差。如果涉及时没有考虑最小化舍入误差的累积,在实践时可能会导致算法实效。下溢:当接近零的数被四舍五入为零时发生下溢。许多函数在其参数为零而不是一个很小的正数时会表现出质的不同:避免零除避免取0的对数上溢:大量级的数被近似为无穷时发生上溢。必须对上溢和下溢进行数值稳定的一个例子...原创 2018-08-24 20:31:33 · 3991 阅读 · 0 评论 -
卷积神经网络在计算机视觉中的演进
LeNet卷积神经网络net = nn.Sequential()net.add( nn.Conv2D(channels=6, kernel_size=5, activation='sigmoid'), nn.MaxPool2D(pool_size=2, strides=2), nn.Conv2D(channels=16, kernel_size=5, acti...原创 2018-08-31 23:40:44 · 1774 阅读 · 0 评论 -
卷积神经网络中的算术问题(Convolution arithmetic)
在卷积神经网络中,一个卷积层的输出形状受它的 输入形状、卷积核大小、补零(zero padding)以及步长(strides) 这四个因素的影响。全连接网络没有这个限制,它的输出形状独立于输入形状,而这也几乎是卷积神经网络中最令人怯步的地方了。卷积操作在4D张量上,例如Theano:filter_shape(output_channels, ++input_channels, filte...原创 2018-08-31 23:37:20 · 1041 阅读 · 0 评论 -
深度学习实践
很久之前的大连理工大学信息检索研究室2017深度学习实践培训内容,当时听讲的时候的笔记。Representation LearningWord EmbeddingWord2vec窗口内的词向量更接近Glove考虑了词的共享次数FastText考虑了字粒度的n-gramWordRank使用排序方法训练Doc2vec将文档作为一个...原创 2018-04-16 00:55:56 · 832 阅读 · 0 评论 -
Theano中如何只更新一部分权重,用法及理由。
如果你想只更新权重矩阵的一个子集(例如一些行或列)。这种情况下神经网络只利用这个子集来进行前向传播,那么成本函数(cost function),只应取决于迭代过程中使用的权重的子集。举一个自然语言处理中的例子:例如,如果你想学习一个查找表(lookup table),来做词嵌入,每一行是一个词向量。在每个迭代中,更新的参数应该只是在向前传播中使用到的那些行。对应于theano函数,为查找表...原创 2018-04-15 23:30:05 · 1104 阅读 · 0 评论 -
深度学习库提供了什么?
通过使用多种深度学习库,可以发现,深度学习库普遍提供了以下功能来帮助我们更好的实现深度学习模型:矩阵运算性能优化以及使用GPU训练自动微分解决数值稳定问题符号式编程(Theano、Tensorflow) -定义计算流程; -把计算流程编译成可执行的程序; -给定输入,调用编译好的程序执行。Theano http://deeplearning.net/softwar...原创 2018-04-15 22:37:23 · 682 阅读 · 0 评论 -
深度学习训练中如何处理NaNs
NaNs问题(Dealing with NaNs)相信很多自己实现过深度学习模型或者训练过深度学习模型的人都会知道,产生NaNs或者Infs是一件特别常见的事情。但是NaNs的问题又往往很棘手,因为出现NaN的原因可能有很多,诊断起来并不容易。这可能是因为模型中某个地方设置的不是特别合理,或者代码中出现了Bug。也有可能是出现了数值不稳定,数值不稳定问题会进行单独说明。甚至也可能是你的算法...原创 2018-04-15 22:19:37 · 3741 阅读 · 0 评论 -
keras句子分类 keras_demo_for_sentence_classification (simplified version)
'''This script loads pre-trained word embeddings(word2vec embeddings)into a Keras Embedding layer, and uses it to train a text classification model on a customized dataset.'''from __future__ import原创 2017-06-24 15:31:04 · 1454 阅读 · 3 评论 -
深度学习库安装与使用
http://blog.csdn.net/hjimce/article/details/51999566Theanowindows下Download Anaconda now!conda install mingw libpythonpip install theanoKeras git https://github.com/fchollet/keras.gitWindows下htt原创 2017-06-24 15:27:07 · 1420 阅读 · 0 评论 -
TensorFlow深度学习,一篇文章就够了
作者: 陈迪豪,就职小米科技,深度学习工程师,TensorFlow代码提交者。TensorFlow深度学习框架Google不仅是大数据和云计算的领导者,在机器学习和深度学习上也有很好的实践和积累,在2015年年底开源了内部使用的深度学习框架TensorFlow。与Caffe、Theano、Torch、MXNet等框架相比,TensorFlow在Github上Fork数和Star数都是最转载 2016-09-24 21:32:40 · 17304 阅读 · 3 评论 -
提升深度学习模型的表现,你需要这20个技巧
选自machielearningmastery机器之心编译 作者:Jason Brownlee 参与:杜夏德、陈晨、吴攀、Terrence、李亚洲本文原文的作者 Jason Brownlee 是一位职业软件开发者,没有博士学位的他通过「从应用中学习」的方法自学了机器学习,他表示对帮助职业开发者应用机器学习来解决复杂问题很有热情,也为机器学习社区贡献了很多转载 2016-09-24 21:28:32 · 17904 阅读 · 2 评论 -
自然语言处理中的Attention机制
Attention in NLPAdvantage:integrate information over timehandle variable-length sequencescould be parallelizedSeq2seqEncoder–Decoder framework:Encoder:ht=f(xt,ht−1)h_t = f(x_t, h_{t-1})ht...原创 2018-10-14 13:21:29 · 1911 阅读 · 0 评论