![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
神经网络
qq_28888837
这个作者很懒,什么都没留下…
展开
-
一步一步推导反向传播
一步一步推导反向传播假如我们由如下的网络(这里只给出最后两层lll和l+1l+1l+1)其中l+1l+1l+1是最后输出:其中有如下定义:al+1=sigmoid(zl+1)……(1)a^{l+1} = sigmoid(z^{l+1})……(1)al+1=sigmoid(zl+1)……(1)zl+1=wl∗al…………(2)z^{l+1} = w^l*a^l… ………(2)zl+1=wl...原创 2020-04-03 18:56:58 · 265 阅读 · 0 评论 -
反向传播(BP算法)python实现
反向传播(BP算法)python实现1、BP算法描述BP算法就是反向传播,要输入的数据经过一个前向传播会得到一个输出,但是由于权重的原因,所以其输出会和你想要的输出有差距,这个时候就需要进行反向传播,利用梯度下降,对所有的权重进行更新,这样的话在进行前向传播就会发现其输出和你想要的输出越来越接近了。上面只是其简单的原理,具体实现起来其实就是利用了链式法则,逐步的用误差对所有权重求导,这样便反...原创 2018-11-20 15:46:11 · 12548 阅读 · 7 评论 -
神经网络中反向传播算法(BP)
神经网络中反向传播算法(BP)本文只是对BP算法中的一些内容进行一些解释,所以并不是严格的推导,因为我在推导的过程中遇见很多东西,当时不知道为什么要这样,所以本文只是对BP算法中一些东西做点自己的合理性解释,也便于自己理解。要想看懂本文,要懂什么是神经网络,对前向传播以及神经网络中一些常见定义要熟悉。为什么是 δ\deltaδ假如上面是一个神经网络的任意层l和l+1层,那么我们如果进行...原创 2018-09-29 17:58:41 · 880 阅读 · 0 评论 -
RNN与LSTM
RNN与LSTM标签: RNN什么是RNNRNN全称是循环神经网络,其和我们普通的神经网络不同之处在于我们普通的神经网络只有层与层之间有关联,但是RNN每层结点之间也会产生关联,因为这个特性,所以RNN适合用于序列化数据。RNN的表示以及应用下面这个图片可能你在很多地方都会见到,这是国外一个大佬写的。但是这个图片的含义是什么呢,左边一个形态,右边又是一个形态,可能都把我们弄乱了,其...原创 2019-01-05 11:44:44 · 1618 阅读 · 0 评论 -
神经网络
神经网络什么是神经网络神经网络可以形象的比做很多神经元连在一起,有一个输入神经元,中间经过好多处理的神经元,最后得到一个输出神经元,这个整体就构成了一个神经网络。而神经网络抽象成数学,其实就是线性组合有一个输出y,一个输入x,如果对x直接线性组合,你可以得到一个: y=wx+by=wx+by = wx+b ,如果只是这样,就得到了一个简单的线性分类器,其效果并不强大,所以对其进行扩展...原创 2018-08-07 16:49:33 · 241 阅读 · 0 评论 -
dropout原理及python实现
dropout原理及python实现标签: 神经网络 pythondropout引入我们都知道在训练神经网络的时候,对于神经网络来说很容易产生过拟合现象,在解决神经网络的过拟合的时候,我们可以使用正则化进行防止过拟合现象的产生,除此之外我们也可以使用dropout来防止过拟合现象。dropout如它的名字一样,就是在进行传播的时候删除一些结点,这样的话我们就可以降低网络的复杂性,这样的话...原创 2018-12-01 15:05:22 · 11733 阅读 · 4 评论 -
一步一步实现CNN卷积神经网络使用numpy并对mnist预测
一步一步实现CNN卷积神经网络使用numpy并对mnist预测标签: CNN卷积神经网络介绍卷积神经网络其实是利用了数字图像处理中的卷积操作,因为卷积的强大,所以能用作一个强大的特征提取器,然后我们使用提取得到的特征连接到全连接层,这样会使得预测的结果比较准确。先搭建卷积层的模块卷积层主要有两个操作,一个是卷积操作,一个是池化操作。除此之外由于使用卷积直接进行操作可能比较耗时,因为好几...原创 2019-01-05 16:44:31 · 2450 阅读 · 8 评论 -
TSNE 高维数据可视化
TSNE 高维数据可视化标签: python 机器学习 神经网络在神经网络中,我们最后一层一般都是高纬度的数据,但是有时候我们可能想看一下这些高纬度数据的分布情况,这个时候就需要用TSNE,其实TSNE本质上就是先利用PCA降维,比如降到二维或者三维,做法就是把神经网络某层的特征降维,然后映射到二维或者三维空间可视化。这样就能看到各层特征分布情况。TSNE降维from sklearn.m...原创 2019-04-13 10:00:44 · 26501 阅读 · 9 评论