深度学习
如是雨林
熟悉java,嵌入式C语言和操作系统
展开
-
深度学习——对吴恩达视频第一部分视频疑问的理解
这个相当于自己的笔记,所以不会说的很详细,毕竟写公式麻烦了,2333。Question1:对反向传播的公式理解?虽然前面的课都认真听了,但是在看这部分视频的时候,就纳闷为什么会有这样子的公式。后面经过自己的一些脑回放,得出了结论。首先抓住重点,链式求导法则,这个在高数里的习题中经常要用到,比如y=(x+1)^2,如果求x的导数,则我们需要求外面平方函数的导数,然后求里面(x+1)的导数...原创 2018-09-23 11:17:31 · 381 阅读 · 0 评论 -
深度学习——激活函数-Sigmoid,Tanh,ReLu,softplus,softmax
转自:激活函数-Sigmoid,Tanh,ReLu,softplus,softmaxPS:在学习深度学习的搭建时,用到不同的激活函数,因此查阅了这些函数,转自:http://blog.csdn.net/qrlhl/article/details/60883604#t2,对其中我认为有误的地方进行了一点修正。 不管是传统的神经网络模型还是时下热门的深度学习,我们都可以在其中看到激活函数的...转载 2018-09-20 19:12:26 · 971 阅读 · 0 评论 -
深度学习——人工神经网络中为什么ReLu要好过于tanh和sigmoid function?
参考吴恩达的深度学习课程。先看看各个激活函数图:第一个问题:为什么引入非线性激励函数? 如果不用激励函数(其实相当于激励函数是f(x) = x),在这种情况下你每一层输出都是上层输入的线性函数,很容易验证,无论你神经网络有多少层,输出都是输入的线性组合,与只有一个隐藏层效果相当,这种情况就是多层感知机(MLP)了。 正因为上面的原因,我们决定引入非线性函数作为激励函数,这样深层神经网络...原创 2018-09-22 20:19:22 · 1530 阅读 · 0 评论 -
深度学习——神经网络权重初始化问题
给自己做笔记,如果想了解的话,直接下面参考链接。https://blog.csdn.net/marsggbo/article/details/77771497转载 2018-09-22 21:04:55 · 631 阅读 · 0 评论