![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
DeepLearning
文章平均质量分 66
小妖精Fsky
这个作者很懒,什么都没留下…
展开
-
学习LSTM收集的资料
学习RNN的基础知识:one-hot representationhttp://licstar.net/archives/328LSTM知识梳理:http://blog.csdn.net/Dark_Scope/article/details/47056361原创 2015-11-06 15:46:24 · 1037 阅读 · 0 评论 -
RNN(LSTM)处理文本资料总结
A noob’s guide to implementing RNN-LSTM using Tensorflow http://monik.in/a-noobs-guide-to-implementing-rnn-lstm-using-tensorflow/原创 2017-02-20 20:22:58 · 2556 阅读 · 0 评论 -
Attention model 的一些概念
自去年在机器翻译领域得到有效验证之后,基于Attention的神经网络模型在今年会议上(2015EMNLP)大放异彩http://www.epistemics.co.uk/staff/nmilton/papers/attention.htm原创 2015-10-14 22:03:56 · 2457 阅读 · 0 评论 -
CNN和图像的一些概念解释
关于CNN理解的不是很透彻,一旦涉及到处理图像,总有些概念模糊不清,特意在词总结下: 通道:每个卷积核都会将图像生成为另一幅图像。比如两个卷积核就可以将生成两幅图像,这两幅图像可以看做是一张图像的不同的通道。原创 2017-11-17 14:41:04 · 608 阅读 · 0 评论 -
tensorflow 对Recursive NN的完美实现
Tensorflow实现的Recursive neural network的实现例子: https://github.com/vijayvee/Recursive-neural-networks-TensorFlow原创 2017-02-24 13:06:46 · 1869 阅读 · 0 评论 -
关于attention的一点小认知
很久之前就看过attention的相关知识,只是没有动手实践,所以很多小细节没有考虑到. (1)sequence-to-sequence model中,在解码的第一步S0_0是如何计算的就晕了好一阵,下面的图给出了解释 http://blog.csdn.net/xbinworld/article/details/54607525 (2)self-attention的两种计算方式原创 2018-01-06 21:01:21 · 1136 阅读 · 0 评论 -
BatchNormalization在各神经网络中的应用
因为之前用CNN中用BatchNorm中用错了位置,所以特意记录以免再次犯错 1. BatchNorm在CNN中的应用(第(1)种正确) 我个人偏向第一种可能,因为在fully connection中batch normalization应用在了激活函数之前 (1)先卷积,再batchnorm, 然后激活函数,最后pooling https://github.com/PadamS原创 2018-01-25 21:07:42 · 6860 阅读 · 15 评论 -
machine learning的知识收集
机器学习笔记:https://zhuanlan.zhihu.com/danche PaperWeekly:https://zhuanlan.zhihu.com/paperweekly 深度学习与NLP:https://zhuanlan.zhihu.com/lqfarmerhttp://www.wildml.com/2015/11/understanding-convolutional-ne...原创 2018-02-05 16:35:57 · 485 阅读 · 0 评论 -
关于CNN的小知识
CNN知识1: 什么是卷积?什么是池化: https://blog.csdn.net/myboyliu2007/article/details/51535679 CNN知识2: 宽卷积:句子长度为S,kernel的大小是K,则卷积后的长度是S+K-1, 其实是句子的前后各padding了(k-1)个零 窄卷积:句子没有进行pad, 卷积后的长度是S-K+1 CNN只是2: pyto...原创 2018-01-22 11:28:56 · 529 阅读 · 0 评论 -
神经网络调试参数
看到好的东西大家一起分享啊 https://zhuanlan.zhihu.com/p/20767428原创 2018-04-05 09:28:42 · 909 阅读 · 0 评论 -
neural network优化小技巧大总结
看论文收集所得,觉得非常好,特记录在此 (1) 优化器的交替使用(2) word_embedding的使用 该方法来自与 (3)word_embedding的选用 该技巧来自与: 未完待续...原创 2018-06-08 22:43:48 · 651 阅读 · 0 评论 -
马尔科夫过程
最近在学习强化学习,其最基础的原理就是马尔科夫决策过程,发现一些讲解很清楚的博客,特记录在此偶尔翻翻强化下概念。https://blog.csdn.net/DeepOscar/article/details/81036635...原创 2019-02-12 14:00:04 · 689 阅读 · 0 评论 -
NLP resources
https://github.com/sebastianruder/NLP-progress上述链接就是NLP各种任务的总结,包括任务的解释等等原创 2019-03-15 16:12:01 · 230 阅读 · 0 评论 -
tensorflow中一些错误总结
叠加的两个LSTM网络,没有指明是共用变量也没有设置变量使用范围导致的错误: http://www.guanggua.com/question/38922063-tensorflow-lstm-on-top-of-another-lstm.html原创 2017-02-20 21:38:44 · 1365 阅读 · 0 评论 -
tensorflow用CNN 处理文本
CNN 对文本的处理: http://www.bigdataway.net/node/3229Playing with convolutions in TensorFlow http://mourafiq.com/2016/08/10/playing-with-convolutions-in-tensorflow.html原创 2017-02-20 20:42:43 · 1298 阅读 · 0 评论 -
RBM公式推导
资料收集工作:能量函数和概率分布:http://wenku.baidu.com/link?url=8vfsaGp1Ip8Mv-73s0E6DqQZWad5F6U2rggUNXJdmXop3hrYCzhGmKLiBf3YVI4Itu40NaSlT_Ymr2mDiAgCZECE5sxEtkjn8XTk8MQwL3y原创 2015-11-08 20:41:09 · 1571 阅读 · 0 评论 -
卷积神经网络中卷积概念的理解
关于卷积的物理意义故事一:【转自人人】无意在网上看到这篇《大牛讲解信号与系统以及数字信号处理》故事二:卷积的意义 - yeeman的专栏故事三:关于卷积的一个血腥的讲解,看完给跪了卷积的物理意义是什么:原创 2015-10-27 17:39:39 · 3527 阅读 · 0 评论 -
理解LSTM网络
英文原地址:http://colah.github.io/posts/2015-08-Understanding-LSTMs/中文原地址:http://www.jianshu.com/p/9dc9f41f0b29Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理转载 2015-11-16 21:16:37 · 3403 阅读 · 1 评论 -
LSTM实现详解
原文地址:http://www.csdn.net/article/2015-09-14/2825693英文地址:http://apaszke.github.io/lstm-explained.html摘要:Long Short Term网络一般叫做 LSTM,是一种 RNN 特殊的类型,可以学习长期依赖信息。LSTM 由 Hochreiter & Schmidhuber (1997转载 2015-11-19 09:55:30 · 8020 阅读 · 1 评论 -
BP算法推导:2014EMNLP文章
原创 2015-12-23 21:13:19 · 599 阅读 · 0 评论 -
CNN 学习 待续
本周要学习的内容:还没学习。http://blog.jobbole.com/90186/原创 2015-12-23 10:02:02 · 497 阅读 · 0 评论 -
深度学习框架
MXNet GitHub : https://github.com/dmlc/mxnet?url_type=39&object_type=webpage&pos=1文档链接:http://mxnet.readthedocs.org/en/latest/详细介绍:http://weibo.com/p/1001603892406947857070Theanohttp://b原创 2015-12-24 20:49:40 · 751 阅读 · 2 评论 -
Caffe 的一些文档
Caffe,全称Convolutional Architecture for Fast Feature EmbeddingCaffe 文档: http://caffe.berkeleyvision.org/Caffe 深度学习框架上手教程:http://suanfazu.com/t/caffe/281Caffe 安装配置(CentOS + 无GPU): http://www.原创 2015-12-25 13:39:11 · 1956 阅读 · 0 评论 -
BP算法精彩讲解集合
脉络清晰的BP神经网络讲解:http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.htmlBP神经网络模型与学习算法:http://www.cnblogs.com/wentingtu/archive/2012/06/05/2536425.html原创 2015-09-21 10:48:32 · 3283 阅读 · 0 评论 -
word2vec中的bin文件转换为txt 文件
from gensim.models import word2vecmodel = word2vec.Word2Vec.load_word2vec_format('/home/ubuntu/word2vec/PubMed-w2v.bin', binary=True)model.save_word2vec_format('/home/ubuntu/word2vec/PubMed-w2v.txt原创 2016-11-29 15:58:59 · 11575 阅读 · 2 评论 -
LSTM中BPTT的推导
今天是2016年11月24号,星期四,本周的任务记录在此,提醒自己本周内完成:LSTM简介以及数学推导(FULL BPTT):http://blog.csdn.net/a635661820/article/details/45390671LSTM的简介已经很明了,重点是数学推导,要烂熟于心(标准:不需要经过大脑,要神经反射一般)数学基础差,没办法呀原创 2016-11-24 10:04:42 · 3900 阅读 · 0 评论 -
神经网络醍醐灌顶的good book
http://neuralnetworksanddeeplearning.com/原创 2016-12-24 15:26:17 · 596 阅读 · 0 评论 -
seq2seq框架中技术要点汇总
Copy Mechanism:解决OOV词来自于文章《Incorporating Copying Mechanism in Sequence-to-Sequence Learning》发表在ACL2016原创 2019-02-26 10:01:44 · 856 阅读 · 0 评论