卷积神经网络 + 机器视觉： L5_卷积层_Pooling Mechanism (斯坦福CS231n）

最新推荐文章于 2020-06-25 20:30:30 发布
最新推荐文章于 2020-06-25 20:30:30 发布
阅读量532 收藏 1
点赞数
分类专栏： Stanford 文章标签： Stanford Pooling Convolution Layers
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Kuo_Jun_Lin/article/details/80429200
版权

完整的视频课堂链接如下：

完整的视频课堂投影片连接：

前一課堂筆記連結：

 

1. 准确率 Accuracy，2. 查全率 Recall，3. 查准率 Precision

这是个一般机器学习的时候很常用到的计算方法与概念，这边做一个补充。

 预测为正确预测为错误
实际为正确TP（True positives）FP（False positive）
实际为错误FN（False negative）TN（True negative）

1. 准确率：被预测的结果是正确的比例占总体的预测结果有多少比重。 Proportion of correct classifications (true positives and negatives) from overall number of cases. The formula goes like this:

 

        Accuracy = (TP + TN) / (TP + TN + FP + FN)

 

2. 查全率：预测结果为 positive 的情况下，真的是 positive 的比率是多少。Proportion of correct positive classifications (true positives) from cases that actually positive. The formula goes like this:

        Recall = TP / (TP + FN)

3. 查准率：真的是 positive 的情况下，多少比率是真的被预测出来是对的的比率。Proportion of correct positive classifications (true positives) from cases that are predicted as positive. The formula goes like this:

        Precision = TP / (TP + FP)

一般来说，我们无法既查全又查准，因为这两个参数天生就是对头，我们在设计模型的时候只能够根据当下面临的问题找到一个均衡点。

以下是这系列介绍的补充资料链接：

 o  https://baike.baidu.com/item/%E6%9F%A5%E5%85%A8%E7%8E%87%E4%B8%8E%E6%9F%A5%E5%87%86%E7%8E%87/424630?fr=aladdin

 

Neural Network 的历史

1957s，第一个感知器被做出来，有了初步的权重输出（F(x) = Wx) 的概念，但是当时并没有反向传播的概念
1960s，第一次把这些线性关系的层，拼起来变成多层的网状结构
1986s，反向传播的理论被 Rumelhart 所提出，并且 chain rule 的方程式也因此被应用在模型里面
2006s，深度学习框架被提及，但是它还需要非常小心的初始化过程，不然就会产生梯度爆炸或是消失的结果
2012s，第一次有效的分类结果被做出来，运用深度学习框架的 Imagenet 分类器得到了很好的效果

 

Convolutional Layer 卷积层
它其实是一种方法的叫法，里面含有很多机制，最为重要的一点就是我们使用一个小的 “filter matrix” 去对一整片像素点原始数据按照一定规律的空间间隔做卷积 (convolve the filter with the image) ，得出来的 ”值“ 再被重新搜集到一个新的矩阵里面，filter matrix 移动的步距一般称为 stride。

有几个特征需要特别注意：

  • filter matrix 的 “厚度” 肯定都跟数据集一致。
  • filter matrix 的长宽与对应的 stride 步距需要完整吻合数据集的长宽，简单的说就是不能够有任何一步没走完。
  • 虽然在解释 CNN 的时候，是用很形象的方式把 filter matrix 放在一张像素点组成的图片上面扫描，但是实际运算的时候，还是也把 matrix 拉直了，才去跟也一并拉直后的原图片做卷积运算。

filter matrix 可以被认为是一种 “Weight” 的特征，每次我们要做矩阵之间 dot 运算的时候，都要把所有的像素点拉直成一行矩阵，这样才能够形象上好理解成一个 network。

一般来说，filter matrix 不会只有一个，而是很多个这样的矩阵经过卷积算法产生出对应的特征图，如下图示例：

这张图用的就是 6 个 filter matrix 去解析出特征 map，并且可以进一步把这六个新的 filter 叠在一起作为下一次用来被解析的数据集，被套上新的 filter matrix 然后不断地传递下去。

但是我们会发现只要 filter matrix 大于单位 pixel，那么随着神经网络的多层传递过程，卷积出来的总结矩阵也就越来越小，长远来看的话，这个过程是失真的，判断经过 Convolution 计算出来的结果的大小可以用这个公式：
    假设原图大小为 N * N 矩阵像素点，filter matrix 大小为 F * F 矩阵，步距为 stride
    output matrix 大小就是：[(N - F) / stride] + 1

但是我们不可能用信息量本身就小的东西去涵盖一个信息量较大的东西，为此，zero padding 这个方法就被运用到了实际情况。根据上面的计算公式，我们可以依照扫描的 stride 步长与 filter matrix 大小，判断一共有多少圈 0 元素需要被加在原始数据点周围，达到扫描前是 n 维矩阵，扫描后也是 n 维矩阵。所以加上 zero padding 后的公式：
    假设 P 为 padding 的 “圈数”，其他的参数继续沿用上面的假设
    output matrix 大小就是：[(N + 2*P -F) / stride] + 1

不過有一點需要注意的 tricky 的地方，我們在計算 filter matrix 一共有幾個 parameters 的時候，記得前面介紹為了方便運算，我們會把 Weight 被拉長後的矩陣後面補一個 1 的元素。因此，每一個矩陣 長 * 寬 * 高 得出来的数量都需要 +1 才是总攻的元素个数。

CNN 的方法可以让我们更为有效的提取图片的 “局部特征”，进而提高图像处理与识别上相较于传统的方法更高的准确性

Generally, the sequence of the methods go like this:

  • ( CONV >>> ReLU >>> CONV >>> ReLU >>> Pooling ) * n times, normally it's twice times.

 

Pooling Layer
它是一个用某种数学的规律机制有意的让数据 “失真“ 的方法，原本的矩阵元素假设 100*100 的大小，经过了 Pooling Layer 的手段后，矩阵就会被缩小成假设 60*60 的大小。但是注意这个方法只能够用来缩减矩阵的 长*宽，而本来多少层（高度）的矩阵不论经过多少次这个步骤，都还是只能维持原样。

max pooling 是我们一般常用的数学手段之一，如下图：

然而，max pooling 也只是其中一种方式去把矩阵做压缩，当然我们也可以做平均或是其他的数学运算去筛选，对于这些方法而言，并没有一个所谓 “better way” 一说，都是根据不同情况，看哪种算法最后得出来的结果好，谁就是比较优秀的。

那另一个问题就是，该怎么判断什么时候是已经缩减到足够的大小了呢？这只能够根据个人经验而论啦。

 

下节链接：卷积神经网络 + 机器视觉： L6_初始化_激励函数_BN_梯度下降 （斯坦福课堂）

CHUNLIN GO
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
新版CS231n斯坦福面向视觉识别的卷积神经网络课程笔记全（中英双语）
05-21
课程讲义合集，中英双语版，新版CS231n斯坦福面向视觉识别的卷积神经网络课程笔记全（中英双语）
DeepLearning-L5-AlexNet
聚集机器学习、信息安全
05-26 669
2012年，Alex Krizhevsky, Ilya Sutskever和Geoffrey E. Hinton在论文《ImageNet Classification with Deep Convolutional Neural Networks》中提出AlexNet，夺得ILSVRC 2012的冠军。
深度学习 机器视觉 经典卷积神经网络 Tensorflow2.0 keras.applications
Forrest97的博客
04-22 4666
背景 经典网络结构就是我们使用深度学习进行烹饪的食材，活学活用好我们的经典神经网络，为我们的实际应用提供事半功倍的效果 经典的深度卷积神经网络作为机器视觉中图像特征提取的重要工具，被广泛应用于图像分类、语义分割和目标检测等实际场景中。 2012到2017年的I全球最大的ImageNet大赛中涌现了一大批性能突出的网络，基于此数据集训练的卷积神经网络被认为具有突出的图像特征提取的功能。 由于一般的个...
注意力机制(Attention Mechanism)
John's Blogs
06-25 3万+
目录概述自注意力（self-attention）NLPCV软注意力（soft-attention）通道注意力Non-Local位置注意力（position-wise attention）混合域模型(融合空间域和通道域注意力) 概述 计算机视觉（computer vision）中的注意力机制（attention）的基本思想就是想让模型学会注意力——能够忽略无关噪声信息而关注重点信息。 自注意力（self-attention） NLP 论文链接：Attention Is All You Need 代码来源：Th
深度学习+CNN卷积神经网络+人脸识别+技术教程：CNN卷积神经网络应用于人脸识别（带详细流程+代码实现）
最新发布
04-22
本资源包“深度学习+CNN卷积神经网络+人脸识别+技术教程：CNN卷积神经网络应用于人脸识别（带详细流程+代码实现）”提供了一个全面的技术指南，用于教授和实现使用卷积神经网络（CNN）进行人脸识别的技术。...
一文让你彻底了解卷积神经网络
01-27
本文来自csdn，文章先来卷积神经网络和全连接神经网络对比，接着让我们直观理解卷积，卷积计算流程，结合案例进行相关的介绍。卷积神经网络（ConvolutionalNeuralNetwork，CNN）是一种前馈神经网络，它的人工神经元...
教程：使用深度卷积神经网络进行ImageNet数据库的分类
07-06
该神经网络有6000 万个参数和650，000 个神经元，由五个卷积层，以及某些卷积层后跟着的max-pooling 层，和三个全连接层，还有排在最后的1000-way 的softmax 层组成。为了使训练速度更快，我们使用了非饱和的神经元...
基于keras的卷积神经网络（CNN）
12-22
实验中主要用到 Conv1D 层、Conv2D 层、MaxPooling1D 层和 MaxPooling2D 层，其参数说明如下： （1）Conv1D Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=None) ...
pool_config_multi.zip_SUM_max pooling_pooling
07-14
sum pooling, max pooling, average pooling,三种 Feature Coding pooling方法
卷积神经网络CNN解析-针对斯坦福的深度学习教程
JuracyKacha的博客
10-30 2370
附上针对的实验：http://ufldl.stanford.edu/tutorial/supervised/ExerciseConvolutionalNeuralNetwork/ 这里就不陈述卷积网络的意义了，就直接陈述怎么做，怎么写前向传播和反向传播，求各个参数的倒数。 阅读前建议读者对于全连接网络有着透彻的理解。。没有的话，强烈建议看看上述实验前面的全连接部分的练习。 建议读者配合着实验
深度学习之CNN卷积神经网络（一）手写数字识别
繁华三千东流水不舍昼夜的博客
09-08 711
代码如下 import tensorflow as tf import random from matplotlib import pyplot as plt from tensorflow.examples.tutorials.mnist import input_data # 随机种子 tf.set_random_seed(1) # 数据 mnist = input_data.read_d...
[4]深度学习和Keras----斯坦福的一个可在线运行的卷积神经网络的Demo
超越梦想，一起飞！！！
06-04 7077
学习深度学习，肯定要接触CNN（卷积神经网络）和RNN（循环神经网络），刚好斯坦福大学给出了一个在线的卷积神经网络的例子，方便大家学习和了解深度学习。这个Demo从MNIST数据库中取出了60000张28X28像素的图片作为训练的样本；那么什么是MNIST数据库呢》MNIST是一个手写数字数据库，它有60000个训练样本集和10000个测试样本集。它是NIST数据库的一个子集。MNIST数据库官方网址为：http://yann.lecun.com/exdb/mnist/ ，也可以在windows下直接下载，
CS231n：面向视觉识别的卷积神经网络学习笔记（三）
faker1895的博客
05-14 307
线性分类 线性分类器简介 图像分类的任务，就是从已有的固定分类标签集合中选择一个并分配给一张图像。 k-Nearest Neighbor （k-NN）分类器的基本思想是通过将测试图像与训练集带标签的图像进行比较，来给测试图像打上分类标签。 k-Nearest Neighbor 分类器存在以下不足： 分类器必须记住所有训练数据并将其存储起来，以便于未来测试数据用于比较。这在存储空间上...
斯坦福大学深度学习公开课cs231n学习笔记（10）卷积神经网络
满城风絮
12-18 9377
前记：20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时，发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称CNN）。现在，CNN已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于避免了对图像复杂的前期预处理操作，可以直接输入原始图像，因而得到了更为广泛
Python实现 ---【简易】12306爬虫
热门推荐
weixin_33736649的博客
12-27 11万+
最近这几天，学习了一下python，对于爬虫比较感兴趣，就做了一个简单的爬虫项目，因为快过年了么，要买回家的火车票，所以呢，通过分析12306网站，写了一个爬虫，现在，就将代码贴出来，分析的过程就不详细的介绍了，就是通过chorme浏览器进行分析。 1 # -*- coding: utf-8 -*- 2 # @Date : 2016-12-27 14:26:33 3...
cs231n 学习笔记（5）- 神经网络-1：Setting up Architecture
Raymond_Love的博客
02-19 386
目录 1.Quick Intro without brain analogies 2. Modeling one neuron 2.1 Biological motivation and connections 2.2 Single Neuron as a linear classifier 2.3 Commonly used activation function 3. Neural...
Global average Pooling
Losteng的博客
05-28 4万+
最近在看关于cifar10 的分类的识别的文章 在看all convolution network 中看到中用到一个global average pooling  下面就介绍一下global average pooling  这个概念出自于 network in network  主要是用来解决全连接的问题，其主要是是将最后一层的特征图进行整张图的一个均值池化，形成一个特征点，将这
基于Tensorflow学习神经网络-目标检测
机器视觉
01-22 2571
8. Object Detection（RCNN-RPN-YOLO-） https://handong1587.github.io/deep_learning/2015/10/09/object-detection.html http://blog.csdn.net/invadertroy/article/details/76253778 https://www.cnblogs.com/sk
卷积神经网络的卷积层和池化层
05-12
卷积神经网络（Convolutional Neural Network，CNN）是一种常用的深度学习模型，主要用于图像识别和计算机视觉任务。它的核心是卷积层和池化层。 卷积层是CNN的核心层之一，它可以提取图像中的特征。卷积层通过对输入图像进行卷积操作，得到新的特征图。卷积操作是一种线性运算，可以通过对输入图像的每个像素点进行加权求和来得到新的像素值。卷积层的参数包括卷积核（kernel）的大小、步长（stride）、填充（padding）等。 池化层是卷积神经网络中用来减小特征图大小的一种操作。它可以减少网络的参数量，防止过拟合。池化层通常使用最大池化（Max Pooling）或平均池化（Average Pooling）操作，通过对输入的特征图进行子采样，得到新的特征图。池化层的参数包括池化窗口的大小、步长等。 在CNN中，通常会交替使用卷积层和池化层，以提取更高级别的特征。这些特征将传递到全连接层，最终输出分类结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值