![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 69
mmc2015
北大信科学院,关注深度强化学习。http://net.pku.edu.cn/~maohangyu/
展开
-
cs231深度学习课程,注意点总结(2)
放到一篇文章中,末尾的内容老是被截断。should we use regression for our problem??http://cs231n.github.io/neural-networks-2/#lossesWord of caution: It is important to note that the L2 loss is much harder t原创 2016-09-06 13:56:35 · 1396 阅读 · 0 评论 -
神经网络机器翻译Neural Machine Translation: Attention Mechanism
总结的不错,谢谢作者:http://blog.csdn.net/u011414416/article/details/51057789端到端的神经网络机器翻译(End-to-End Neural Machine Translation)是近几年兴起的一种全新的机器翻译方法。前篇NMT介绍的基本RNN Encoder-Decoder结构,RNNenc将源语言句子压缩成一个固定转载 2017-06-22 11:18:54 · 1269 阅读 · 0 评论 -
R-CNN,Fast-R-CNN,Faster-R-CNN, YOLO, SSD系列,深度学习object detection梳理
最近闲的蛋疼,看了一下object detection的经典文章,简单总结一下(因为不做cv,说错了请指出):0)object detection的任务:找到图片中的object(给出边框位置,regresion),以及给出object对应的是什么(classification)。一般步骤就是:候选框提取(regions proposal,经典方法是selective search),然后原创 2017-06-09 15:55:56 · 10561 阅读 · 1 评论 -
【深入理解反向传播BP】Calculus on Computational Graphs: Backpropagation
大牛的博客,只能膜拜:http://colah.github.io/posts/2015-08-Backprop/反向传播不仅仅是链式法则那么简单。。。从naive的“sum derivations of all paths” ==》到“factoring paths”==》再到“forward-mode differentiation”(对每个计算节点进行转载 2017-06-14 11:01:21 · 692 阅读 · 0 评论 -
RNN/LSTM反向传播计算细节
原作者总结的很好。从NN到RNN再到LSTM(2): 循环神经网络RNN简介及计算本文将简要介绍循环神经网络(Recurrent Neural Network,RNN),以及RNN的前向计算和误差反向传播过程。转载请注明出处:http://blog.csdn.net/u011414416/article/details/46709965以下内容主要引自转载 2017-06-14 20:13:39 · 13311 阅读 · 3 评论 -
【致敬ImageNet】ResNet 6大变体:何恺明,孙剑,颜水成引领计算机视觉这两年
文章写得挺好,故转载来。http://mp.weixin.qq.com/s?__biz=MzI3MTA0MTk1MA==&mid=2652001197&idx=1&sn=4239318655806de8ed807d44cdb1b99c&chksm=f121275cc656ae4a3ad2dedc3b7a53b57fe92f76b97fc1c237bcf9e6a4cdb8adba67ff470d转载 2017-07-23 07:45:26 · 7596 阅读 · 2 评论 -
Deep Learning for NLP Best Practices
写的挺好,选择的话题都是很经典的。原文:http://ruder.io/deep-learning-nlp-best-practices/index.html#introduction译文:http://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650729318&idx=1&sn=0bd03d7add9d9b6a5fbd1060转载 2017-07-28 08:27:37 · 1712 阅读 · 0 评论 -
无需数学背景,读懂ResNet、Inception和Xception三大变革性架构
写的确实不错:resnet:加深、通过identity mapping实现inception:加宽、让网络自动选择5*5卷积、3*3卷积还是max-pooling那个更好,通过1*1卷积实现运算量的减少Xception:将通道间的关系和空间上的关系分开进行识别https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650转载 2017-08-21 20:15:19 · 2927 阅读 · 0 评论 -
从语言学到深度学习NLP,【一文概述自然语言处理】
两篇文章确实不错。https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650729976&idx=1&sn=1f2e64ae2baefd82fd6dcac86d2cc77e&chksm=871b2986b06ca0907fdc335b8f79f0c15cc4393ec45f89ad93d3c9a899c05224dc16e244转载 2017-08-21 22:52:59 · 3778 阅读 · 0 评论 -
Image Completion with Deep Learning in TensorFlow【DCGAN,图像补全】
写的不错,直接拿来了。http://bamos.github.io/2016/08/09/deep-completion/#so-how-can-we-complete-imagesIntroductionStep 1: Interpreting images as samples from a probability distributionHow转载 2017-09-13 09:36:45 · 3548 阅读 · 1 评论 -
变形卷积核、可分离卷积?卷积神经网络中十大拍案叫绝的操作。
总结的非常好,故转来,如果侵权,请告知,会及时删掉。大家还是去看原文好,作者的文章都不错:https://zhuanlan.zhihu.com/p/28749411https://www.zhihu.com/people/professor-ho/posts写文章变形卷积核、可分转载 2017-08-31 14:08:49 · 21301 阅读 · 2 评论 -
SELU激活函数,scaled exponential linear units
SELU、ReLU、leaky ReLU对比:https://github.com/shaohua0116/Activation-Visualization-Histogram关于SELU激活函数的详细介绍,从这个地址转来的:http://blog.csdn.net/liyuan123zhouhui/article/details/73702271转载 2017-09-25 17:04:54 · 11896 阅读 · 0 评论 -
2017年AI关键技术盘点:AlphaGo/GAN/Capsule/基于DL的CTR预估/CV/NLP
写的挺好,转一下。2017年AI技术盘点:关键进展与趋势原创 2018-01-04 张俊林 人工智能头条作者 | 张俊林责编 | 何永灿人工智能最近三年发展如火如荼,学术界、工业界、投资界各方一起发力,硬件、算法与数据共同发展,不仅仅是大型互联网公司,包括大量创业公司以及传统行业的公司都开始涉足人工智能。2017年人工智能行业转载 2018-01-05 09:52:31 · 1709 阅读 · 0 评论 -
使用CNN kernel对图像进行【锐化、模糊、浮雕等】处理
发现一门将tensorflow的不错的课程。https://web.stanford.edu/class/cs20si/2017/lectures/slides_07.pdf之前做过一个相机的APP,当时做图片美化,些非常多的代码效果不一定好。下面这个图提醒我们,其实直接使用CNN特定的kernel在愿图片上进行一次卷积就可以完成图片的转换了,而且计算量应该比较少吧。原创 2018-01-22 16:47:25 · 2908 阅读 · 1 评论 -
梯度截断的tensorflow实现
gradients = optimizer.compute_gradients(loss, var_list)capped_gradients = [(tf.clip_by_value(grad, -5., 5.), var) for grad, var in gradients if grad is not None]train_op = optimizer.apply_gradients(...原创 2018-03-02 09:18:09 · 4194 阅读 · 3 评论 -
CS224N(Natural Language Processing with Deep Learning)总结:模型、任务、作业、作业中涉及到的特殊代码
模型:word2vec(skip-gram、CBOW)、GloVe、DNN/BP/Tips for training、RNN/GRU/LSTM、Attention、CNN、TreeRNN应用:Neural Machine Translation、Dependency Parsing、Coreference Resolution作业:skip-gram、window-based s...原创 2018-07-16 20:58:33 · 2143 阅读 · 2 评论 -
三大机器翻译技术的high-level概述:Neural, Rule-Based and Phrase-Based Machine Translation
http://blog.systransoft.com/how-does-neural-machine-translation-work/In this issue of step-by-step articles, we explain how neural machine translation (NMT) works and compare it wi转载 2017-06-17 14:32:00 · 4655 阅读 · 0 评论 -
自然语言处理中的Attention Model:是什么及为什么
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 原文出处:http://blog.csdn.net/malefactor/article/details/50550211前面得部分就不贴了。。。转载 2016-06-22 14:19:50 · 801 阅读 · 0 评论 -
cs231深度学习课程,注意点总结
从今天开始,正式踏入深度学习的行列。之前接触过一些,但都不系统。这次从cs231课程开始。http://cs231n.github.io/optimization-1/Mini-batch gradient descent. In large-scale applications (such as the ILSVRC challenge), the tra转载 2016-09-05 15:48:58 · 6535 阅读 · 0 评论 -
Analysis of 【Dropout】
原文:https://pgaleone.eu/deep-learning/regularization/2017/01/10/anaysis-of-dropout/这篇分析dropout的比较好,记录一下。译文在http://www.wtoutiao.com/p/649MGEJ.htmlOverfitting is a problem in Deep Neural Networ转载 2017-02-06 18:25:55 · 610 阅读 · 0 评论 -
word2vector:NPLM、CBOW、Skip-gram
主要参考:http://www.cnblogs.com/Determined22/p/5804455.htmlhttp://www.cnblogs.com/Determined22/p/5807362.htmlhttp://blog.csdn.net/u014595019/article/details/51943428http://www.open-open.com/转载 2017-02-06 19:07:09 · 5532 阅读 · 1 评论 -
RNN的四种变形:Attention and Augmented Recurrent Neural Networks【译文】
觉得总结的不错,所以记录一下。原文:http://distill.pub/2016/augmented-rnns/译文:http://geek.csdn.net/news/detail/106118递归神经网络是一种主流的深度学习模型,它可以用神经网络模型来处理序列化的数据,比如文本、音频和视频数据。它能把一个序列浓缩为抽象的理解,以此来表示这个序列,乃至新产生转载 2017-02-12 13:26:00 · 5684 阅读 · 0 评论 -
目前看到的最好的RNN、LSTM、GRU博客:Understanding LSTM Networks
原文:http://colah.github.io/posts/2015-08-Understanding-LSTMs/Recurrent Neural NetworksHumans don’t start their thinking from scratch every second. As you read this essay, you unders转载 2017-02-03 17:08:50 · 4979 阅读 · 0 评论 -
目前看到的最好的RNN、LSTM、GRU博客:Understanding LSTM Networks(翻译)
原文:http://www.jianshu.com/p/9dc9f41f0b29本文译自 Christopher Olah 的博文Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,转载 2017-02-03 17:11:42 · 8072 阅读 · 6 评论 -
LSTM对比GRU:Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling
先说结论:不论是machine translation还是music datasets、speech signal modeling,GRU和LSTM的performance差别不大,但GRU往往比LSTM训练时间短、收敛快。原文:http://blog.csdn.net/meanme/article/details/488457931.概要:转载 2017-02-03 17:18:21 · 1733 阅读 · 0 评论 -
TensorFlow入门很好的教程:你好,TensorFlow!
https://www.oreilly.com.cn/ideas/?p=533从零开始构建和训练你的第一个TensorFlow图Aaron Schumacher, 2016年6月20日TensorFlow作为一个项目比你能想象到的更大。事实上,它是深度学习的一个库。这个项目与谷歌之间的关系帮助它获得了很多的关注。但是在这些喧哗的表面下,这个项目还转载 2017-04-08 19:23:15 · 7182 阅读 · 0 评论 -
Time Series Forecasting with the Long Short-Term Memory Network in Python
http://machinelearningmastery.com/time-series-forecasting-long-short-term-memory-network-python/by Jason Brownlee on April 7, 2017 in Deep Learning0000The L转载 2017-04-09 10:10:48 · 2878 阅读 · 0 评论 -
CS231n课程笔记翻译:卷积神经网络笔记
https://zhuanlan.zhihu.com/p/22038289http://cs231n.github.io/convolutional-networks/卷积层卷积层是构建卷积神经网络的核心层,它产生了网络中大部分的计算量。概述和直观介绍:首先讨论的是,在没有大脑和生物意义上的神经元之类的比喻下,卷积层到底在计算什么。卷积层的参数是有一些可学习转载 2017-03-05 11:12:17 · 4586 阅读 · 0 评论 -
秒懂词向量Word2vec的本质
http://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651649523&idx=2&sn=41df7d27aed6fb3f47732002e2f922f1&chksm=bd4dd2608a3a5b764645f5acdd9c38014b14dc89623e5638c14ee89c4ea9178a1654b96c8d50&mpshare=1&s转载 2017-04-20 22:21:20 · 3327 阅读 · 0 评论 -
Seq2Seq非常好的代码(机器翻译、对话生成等):漫谈四种神经网络序列解码模型【附示例代码】
感谢作者,写的非常好http://jacoxu.com/encoder_decoder/(博客原文)https://github.com/jacoxu/encoder_decoder(GitHub代码)https://github.com/farizrahman4u/seq2seq(seq2seq代码,非常好!)漫谈四种神经网络序转载 2017-05-26 21:49:11 · 20353 阅读 · 12 评论 -
一个关于LSTM的high-level介绍(但是很好):A Gentle Introduction to Long Short-Term Memory Networks by the Experts
http://machinelearningmastery.com/gentle-introduction-long-short-term-memory-networks-experts/作者很厉害,感谢总结:This provides you both with a clear and precise idea of what LSTMs are and how they work,转载 2017-05-27 09:41:33 · 3817 阅读 · 0 评论 -
一文纵览无监督学习研究现状:从自编码器到生成对抗网络
这篇文章确实写的不错,总结无监督学习的方法如下:1)自编码器2)聚类学习3)生成对抗网络4)设计不需要标签的无监督学习任务,直接从无标签的数据中学习模型视觉表征:通过解决拼图问题来进行无监督学习确实是一个聪明的技巧。将图像分割成了拼图,并且训练深度网络来解决拼图问题。视觉表征:通过图像补丁和布局来进行无监督学习也是一个聪明的技巧。让同一幅图像上的两个补丁紧密分布。这些补转载 2017-05-08 22:27:07 · 5263 阅读 · 0 评论 -
Batch Normalization 学习笔记
http://blog.csdn.net/hjimce/article/details/50866313Batch Normalization 学习笔记原文地址:http://blog.csdn.net/hjimce/article/details/50866313作者:hjimce一、背景意义本篇博文主要讲解2015年深度学习领域,非常值得学习的一篇文献:《Bat转载 2017-04-08 19:51:19 · 461 阅读 · 0 评论 -
Tensorflow中padding的两种类型SAME和VALID
按照下面的解释,“SAME”用的比较多。same的含义是:长度除以步长向上取整。For the SAME padding, the output height and width are computed as:out_height = ceil(float(in_height) / float(strides[1]))out_width = ceil(float(转载 2017-06-08 08:46:45 · 2040 阅读 · 0 评论 -
dropout为什么有用。Dropout在RNN中的应用综述。
想起来前两天小师弟问我问题,为什么dropout是有用的,看起来像是一个有bug的操作。 这里谈下自己的理解,不一定正确:1)dropout的经典解读之一是network的ensemble,每次drop不同的weights,从而形成不同的sub-network,最后ensemble所有的sub-network2)那么为什么sub-network可行呢?这个很少有人提到。我觉得...原创 2018-09-25 20:40:16 · 5895 阅读 · 0 评论