Du_Shuang的博客

转载于：https://blog.csdn.net/program_developer/article/details/78704224侵删这周本来想写一篇个人笔记，关于神经网络中反向传播算法识别手写字符的实现。但是，在整理自己的思路的时候，发现本人把之前看的许多神经网络的东西都给忘了，内心很是着急啊！在看到激活函数的时候，突然不知道激活函数是干嘛用的！立马翻遍手里的纸质资料，都说的模糊不清...

转载于：https://blog.csdn.net/zhaojc1995/article/details/80572098转载不全，请移步原文链接。 本文部分参考和摘录了以下文章，在此由衷感谢以下作者的分享！ https://zhuanlan.zhihu.com/p/28054589 https://blog.csdn.net/qq_16234...

转载于：https://blog.csdn.net/u012328159/article/details/80311892这篇文章写的很好，可是转载总是只能转部分不能转载全部且格式有问题，所以这里只贴链接，方便自己以后寻找。个人觉得上文momentum、Nesterov Momentum的区别和改进没写的很详细，下面贴一个这方面分析的比较好的链接：http://www.360doc.com/...

转载于：https://blog.csdn.net/program_developer/article/details/80737724这是一篇写的很好的讲解dropout的文章，但是个人感觉在测试阶段要乘以概率p或训练阶段除以p的原因没有讲的特别清楚，所以贴一个这方面写的还不错的链接：https://www.cnblogs.com/makefile/p/dropout.html ...

转载于：https://blog.csdn.net/u010159842/article/details/79202107深度神经网络，相比于之前的传统机器学习方法，可以看成是一个全新的物种，这背后的原因，最明显的还是深度学习对机器算力的巨大需求，在深度学习入门最少需要知道什么？中介绍了深度学习所需的显卡资源，而当前大内存的机器不贵，而高性能，大显存的显卡就没那么便宜了。这使得使用深度学习去处...

转载于：https://my.oschina.net/u/876354/blog/1622896

转载于：https://blog.csdn.net/u011021773/article/details/78121359在卷积神经网络的最后，往往会出现一两层全连接层，全连接一般会把卷积输出的二维特征图转化成一维的一个向量，这是怎么来的呢？目的何在呢？举个例子：最后的两列小圆球就是两个全连接层，在最后一层卷积结束后，进行了最后一次池化，输出了20个12*12的图像，然后通过了一个全连接...

转载于：https://blog.csdn.net/itleaks/article/details/80336825 反卷积（Deconvolution）的概念第一次出现是Zeiler在2010年发表的论文Deconvolutional networks中，但是并没有指定反卷积这个名字，反卷积这个术语正...

转载于：https://blog.csdn.net/u014518506/article/details/80445283 这里的num_units参数并不是指这一层油多少个相互独立的时序lstm，而是lstm单元内部的几个门的参数，这几个门其实内部是一个神经网络，答案来自知乎： class TRNN...

转载于：https://blog.csdn.net/junjun150013652/article/details/81331448参数解释请参考：https://blog.csdn.net/qq_32806793/article/details/85322672 函数原型tf.nn.dynamic_rnn( cell, inputs, se...

转载自：https://my.oschina.net/findbill/blog/543485 为什么80%的码农都做不了架构师？>>>   ...

转载于：https://blog.csdn.net/u010548772/article/details/78582250https://blog.csdn.net/lanmengyiyu/article/details/80719373推荐两个链接。

转载于：https://blog.csdn.net/leviopku/article/details/80418672 1. SGD图示红色表示SGD的收敛路径，棕色表示梯度下降的收敛路径。普通的GD算法就是计算出每一时刻最陡的下降趋势(梯度)，SGD在随机挑选某一分量的梯度方向进行收敛，详细解释可继续往下看。2. SGD公式理解注：这一...

转载于：https://blog.csdn.net/qq_34638161/article/details/81902989 https://blog.csdn.net/fredinators/article/details/79443386ReLu是神经网络中的一个激活函数，其优于tanh和sigmoid函数。1.为何引入非线性的激活函数？如果不用激活函数...

　　　　word2vec原理(一) CBOW与Skip-Gram模型基础　　　　word2vec原理(二) 基于Hierarchical Softmax的模型　　　　word2vec原理(三) 基于Negative Sampling的模型　　　　word2vec是google在2013年推出的一个NLP工具，它的特点是将所有的词向量化，这样词与词之间就可以定量的去度量他们之间的关系，挖掘词之...

转载于：http://www.cnblogs.com/pinard/p/7243513.html还是转载失败，CSDN时不时就会出现这种问题，难受。

转载于：http://www.cnblogs.com/pinard/p/7249903.html同样转载失败，只有链接，希望原作者大大不要删除文章。

图片来源：李飞飞斯坦福课程

转载于：https://blog.csdn.net/u014296502/article/details/78799931 y代表真实值，y_代表预测值，损失函数采用交叉熵损失函数如下loss function：L(y,y_)=-(ylny_+(1-y)ln(1-y_))一般更新参数的方式，我们梯度下降的方式，目的是使得损失函数最小，达到一个能够...

转载自：https://zhuanlan.zhihu.com/p/21930884感谢原作者给我们这么好的资源，谢谢！哈哈哈！我们也是不谦虚，几个“业余水平”的网友，怎么就“零星”地把这件事给搞完了呢！总之就是非常开心，废话不多说，进入正题吧！CS231n简介CS231n的全称是CS231n: Convolutional Neural Networks for Visual Recogniti...

转载于：https://blog.csdn.net/marsggbo/article/details/77771497公式部分没转载好，建议移步原文阅读 之前看Andrew大神的视频有介绍到神经网络权重需要随机初始化而不是全初始化为0的问题，其真正深层次的含义没有弄明白，所以结合一些资料（cs2...

转载于：https://blog.csdn.net/malefactor/article/details/51476961  /* 版权声明：可以任意转载，转载时请标明文章原始出处和作者信息 .*/      &n...

转载于：https://blog.csdn.net/zhangbaoanhadoop/article/details/83050111 真的结束于最优点吗？我们知道，在局部最优点附近，各个维度的导数都接近0，而我们训练模型最常用的梯度下降法又是基于导数与步长的乘积去更新模型参数的，因此一旦陷入了局部最优点，...

1.为什么用更用深的神经网络？类似于人脑，第一层负责找细节比如边缘，第二层负责找特征比如鼻子、眼睛，第三层负责找更大的特征比如人脸，所以网络越深，从细节到宏观的特征查找更仔细。神经元少但深的网络与神经元多但浅的网络能达到差不多的效果，但是神经元的增长比深度的增长要快很多，所以采用增加深度的方法能减少神经元的使用减少网络的复杂度提升算法的计算时间。...