![](https://img-blog.csdnimg.cn/20190918140158853.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
神经网络知识
主要讲解神经网络入门的一些知识点
椰楠liu
这个作者很懒,什么都没留下…
展开
-
ResNet50-SSD300模型图
ResNet50-SSD300模型图原创 2020-10-05 19:16:17 · 2356 阅读 · 0 评论 -
权重更新优化器总结
权重更新优化器总结在上吴恩达的深度学习课程时,学习了很多权重更新的方式,但当时学习的时候比较蒙,可能当时理解了,后面又忘了为什么这么用。这两天又看到一些资料,正好整理总结一下。我们先计算一下反向传播的公式,具体详细过程就不再讲解了/以上图为例,现在我们更新权重w11(2)w_{11}^{(2)}w11(2),更新公式如下所示:w11(2)(new)=w11(2)(old)−learning_rate×gradientw_{11}^{(2)}(new) = w_{11}^{(2)}(old) -原创 2020-05-17 15:31:42 · 1490 阅读 · 1 评论 -
卷积神经网络的分类层-softmax和sigmoid
卷积神经网络的分类层-softmax和sigmoid1. softmax在学习一些卷积网络的模型时,我们经常看到模型最后有一个softmax层,这个层的主要作用就是输出物体是各个类的概率,接下来我们就来看一下其计算公式:如上图所示,在全连接层得到了两个结果(有两个类别)L2_1L_{2\_1}L2_1与L2_2L_{2\_2}L2_2,为了公式方便书写我们就把它们看成是y1y_1y1和y2y_2y2。我们想要得到的是各个类别的概率。这里需要注意在softmax层所有输出的概率之和为1。因此我原创 2020-05-16 22:25:30 · 9249 阅读 · 0 评论 -
卷积核的优势-权值共享与局部感知能力
卷积核的优势-权值共享与局部感知能力在读论文的时候一直读到一个名词“权值共享”,但心里对这个概念一直比较模糊,今天突然明白,记录一下。1. 局部感知能力这与卷积核的使用方式有关,卷积核在输入图像上是滑动运算的,卷积核在图像的不同位置提取特征这就是局部感知能力。2. 权值共享在介绍权值共享之前先分享一个小知识,以前的卷积网路模型在卷积层后面会设全连接层,在读论文的时候经常读到一个词“Flatten”。卷积层提取到的最终特征图在输入全连接层之前需要“展平”,比如说最终提取的特征图的大小为56,那么你原创 2020-05-16 21:04:09 · 2362 阅读 · 0 评论 -
卷积网络的运算过程、特征图大小计算与参数计算过程
卷积神经网络的运算过程以及参数计算过程写这篇文章是因为发现自己这么久以来把卷积核的计算过程理解错了,一直到和师兄交流的时候擦发现,抓紧写一篇博客记录一下。1. 卷积神经网络的计算以上图为例,假设输入的图片是32×\times× 32×\times× 3大小,也就是我们所说的输入为32×\times× 32大小的RGB图像。我一直理解错的就是这幅图像与卷积核计算的过程,具体怎么错的就不误解大家了。假设现在我们要用一个5×\times× 5×\times× 3的卷积核来提取图片中的特征,首先需要注意的原创 2020-05-15 23:13:13 · 6982 阅读 · 3 评论