神经网络3

已于 2023-04-20 19:11:06 修改
阅读量38 收藏
点赞数
分类专栏： 神经网络 文章标签： 神经网络 深度学习 人工智能
于 2023-04-20 19:09:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45352056/article/details/130273276
版权

目录

基本卷积神经网络

1 AlexNet

2 VGG-16

3 残差网络

4 常用数据集

4.1 MNIST

2、Fashion-MNIST数据集

3、CIFAR-10数据集

4、PASCAL VOC数据集

5、MS COCO数据集

6、ImageNet数据集

7、ISLVRC 2012子数据集

5 数据集与评价指标

1、相关概念

2、AP计算

基本卷积神经网络

1 AlexNet

网络提出：

 网络结构：

 网络说明：

网络一共有 8 层可学习层—— 5 层卷积层和 3 层全连接层

改进：

  • 池化层均采用最大池化
  • 选用ReLU作为非线性环节激活函数
  • 网络规模扩大，参数数量接近6000万
  • 出现“多个卷积层+一个池化层”的结构

 改进：输入样本

最简单、通用的图像数据变形的方式

  • 从原始图像（256,256）中，随机的crop出 一些图像（224,224）。【平移变换，crop 】
  • 水平翻转图像。【反射变换，flip】
  • 给图像增加一些随机的光照。【光照、彩 色变换，color jittering】

 改进：激活函数

  • 采用ReLU替代 Tan Sigmoid
  • 用于卷积层与全连接层之后

 

 改进：Dropout

在每个全连接层后面使用一个 Dropout 层,以概率 p 随机关闭激活函数

 改进：双GPU策略

AlexNet使用两块GTX580显卡进行训练，两块显卡只需要在特定的层进行通信

2 VGG-16

网络提出：

网络结构： 

 

 

 

 参数数量变化：

 网络说明：

改进

  • 网络规模进一步增大，参数数量约为1.38亿
  • 由于各卷积层、池化层的超参数基本相同，整体结构呈现出规整的特点。
  • 普遍规律  随网络深入，高和宽衰减，通道数增多。

3 残差网络

非残差网络的缺陷：

 残差网络的优势：

 梯度消失问题：

 残差块

 

 

 残差网络

 

  •  普通网络的基准模型受VGG网络的启发
  • 卷积层主要有3×3的过滤器，并遵循两个简 单的设计规则:①对输出特征图的尺寸相同的 各层，都有相同数量的过滤器; ②如果特征 图的大小减半，那么过滤器的数量就增加一 倍，以保证每一层的时间复杂度相同。
  •  ResNet模型比VGG网络更少的过滤器和更低的 复杂性。ResNet具有34层的权重层，有36亿 FLOPs，只是VGG-19（19.6亿FLOPs）的18%。

 

4 常用数据集

4.1 MNIST

MNIST数据集是由0~9手写数字图片和数字标签所组成的，由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。

2、Fashion-MNIST数据集

FashionMNIST 是一个替代 MNIST 手写数字集 的图像数据集。它是由 Zalando旗下的研究部门提供，涵盖了来自 10 种类别的共 7 万个不同商品的正面图片。
FashionMNIST 的大小、格式和训练集/测试集划分与原始的MNIST 完全一致。60000/10000 的训练测试数据划分，28x28的灰度图片。你可以直接用它来测试你的机器学习和深度学习算法性能，且不需要改动任何的代码

3、CIFAR-10数据集

CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像
数据集分为五个训练批次和一个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像


4、PASCAL VOC数据集

目标分类(识别)、检测、分割最常用的数据集之一，第一届PASCAL VOC举办于2005年，2012年终止。常用的是 PASCAL 2012

5、MS COCO数据集

数据集以scene understanding为目标，主要从复杂的日常场景中截取，包含目标分类(识别)、检测、分割、语义标注等数据集，ImageNet竞赛停办后，COCO竞赛就成为是当前目标识别、检测等领域的一个最权威、最重要的标杆

6、ImageNet数据集

总图像数据：14,197,122，总类别数：21841，带有标记框的图像数：1,034,908

7、ISLVRC 2012子数据集

训练集：1,281,167张图片+标签

类别数：1,000

验证集：50,000张图片+标签

测试集：100,000张图片

5 数据集与评价指标


1、相关概念

TP: 被正确地划分为正例的个数，即实际为正例且被分类器划分为正例的实例数

FP: 被错误地划分为正例的个数，即实际为负例但被分类器划分为正例的实例数

FN: 被错误地划分为负例的个数，即实际为正例但被分类器划分为负例的实例数

TN: 被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的实例数

P(精确率)： TP/（TP+FP）

R(召回率)： TP/(TP+FN)。召回率越高，准确度越低

P-R曲线

P-R的关系曲线图，表示了召回率和准确率之间的关系

精度(准确率)越高,召回率越低

置信度与准确率：调整阈值可改变准确率或召回值。可以通过改变阈值（也可以看作上下移动蓝色的虚线），来选择让系统识别能出多少个图片，当然阈值的变化会导致Precision与Recall值发生变化。比如，把蓝色虚线放到第一张图片下面，也就是说让系统只识别出最上面的那张飞机图片，那么Precision的值就是100%，而Recall的值则是20%。如果把蓝色虚线放到第二张图片下面，也就是说让系统只识别出最上面的前两张图片，那么Precision的值还是100%，而Recall的值则增长到是40%。

2、AP计算

mAP：均值平均准确率

其中N代表测试集中所有图片的个数， P(k)表示在能识别出 个图片的时候Precision的值，而 Δr(k)则表示识别图片个数从k−1变化到k时（通过调整阈值）Recall值的变化情况。

mAP计算：

每一个类别均可确定对应的AP

多类的检测中，取每个类AP的平均值，即为mAP
 

weixin_45352056
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
BP神经网络预测matlab代码讲解与实现步骤
CJ-leaf的博客
12-07 21万+
文章目录1. BP神经网络的简介和结构参数1.1 BP神经网络的结构组成1.2 BP神经网络训练界面的参数解读2. 实现BP网络的步骤3. matlab代码编写4. BP代码运行结果4.1 预测值和真实值的误差计算（MAE、MSE、MRSE）4.2 BP网络训练的性能分析图像5. 结语6. MATLAB代码 1. BP神经网络的简介和结构参数 神经网络是机器学习中一种常见的数学模型，通过构建类似于大脑神经突触联接的结构，来进行信息处理。在应用神经网络的过程中，处理信息的单元一般分为三类：输入单元、输出单元和
BP神经网络预测实例（matlab代码，神经网络工具箱）
人工智能方向，计算机视觉
02-16 13万+
目录辛烷值的预测matlab代码实现工具箱实现 参考学习b站： 数学建模学习交流 bp神经网络预测matlab代码实现过程 辛烷值的预测 【改编】辛烷值是汽油最重要的品质指标，传统的实验室检测方法存在样品用量大，测试周期长和费用高等问题，不适用于生产控制，特别是在线测试。近年发展起来的近红外光谱分析方法（NIR），作为一种快速分析方法，已广泛应用于农业、制药、生物化工、石油产品等领域。其优越性是无损检测、低成本、无污染，能在线分析，更适合于生产和控制的需要。实验采集得到50组汽油样品（辛烷值已通过其他方法测
CNN笔记：通俗理解卷积神经网络
热门推荐
结构之法 算法之道
07-02 82万+
2012年我在北京组织过8期machine learning读书会，那时“机器学习”非常火，很多人都对其抱有巨大的热情。当我2013年再次来到北京时，有一个词似乎比“机器学习”更火，那就是“深度学习”。本博客内写过一些机器学习相关的文章，但上一篇技术文章“LDA主题模型”还是写于2014年11月份，毕竟自2015年开始创业做在线教育后，太多的杂事、琐碎事，让我一直想再写点技术性文章但每每恨时间抽不开。然由于公司在不断开机器学习、深度学习等相关的在线课程，耳濡目染中，总会顺带着学习学习。
线虫神经网络仿真
robinvista的专栏
09-01 1万+
目的 　　对秀丽隐杆线虫的大脑进行仿真，试验了触觉感知功能。 1. 前言 　　秀丽隐杆线虫是一种1mm长的小虫子，别小看它，它是目前世界上唯一的被完整绘制出神经网络的生物。也就是说我们知道这种虫子有多少神经元、神经元之间是怎么连接的、连接的类型等等细节，甚至连每个神经元起什么作用也被试验测试出来了。基于这些信息，我们完全可以在计算机中创造一个虚拟的虫子，观察它的反应。这就很有意思了，因为从某种意义...
神经网络
qq_46458188的博客
11-27 4063
一、神经网络 1.神经元（节点） 是神经网络的的基础单元，基本形式为wx+b（x1、x2为输入向量，w1、w2为权重，b为偏置，g(z)为激活函数，a为输出）大量神经元相互连接组成神经网络，每个神经元接受一个或多个信号输入，经过激活函数变换后输出，神经元之间用权重连接。 2.激活函数 常见的激活函数有Sigmoid、Tanh、ReLu，前两者用于全连接层，后者用于卷积层。 Sigmoid函数： z是一个线性组合，如b+w1*x1+w2*x2，代入正...
BP神经网络预测（python）
积极向上的mr.d的博客
04-30 8万+
下边是基于Python的简单的BP神经网络预测，多输入单输出，也可以改成多输入多输出，下边是我的数据，蓝色部分预测红色（x,y,v为自变量，z为因变量） 话不多说，直接上代码 # -*- coding: utf-8 -*- """ """ import numpy as np import pandas as pd import matplotlib.pyplot as plt from tensorflow import metrics from sklearn import metrics imp
BP神经网络
hcxddd的博客
07-27 1万+
理论加代码
卷积神经网络（CNN）详细介绍及其原理详解
IronmanJay的博客
01-14 15万+
本文总结了关于卷积神经网络（CNN）的一些基础的概念，并且对于其中的细节进行了详细的原理讲解，通过此文可以十分全面的了解卷积神经网络（CNN），非常适合于作为Deep Learning的入门学习。下面就是本篇博客的全部内容！
卷积神经网络
WaitFoF
05-18 4090
1. 引言 1962 年，加拿大神经科学家Hubel 和 Wiesel通过研究猫的视觉神经，首次提出神经元感受野这一概念。 20 世纪 80年代，日本科学家 Kunihiko Fukushima在论文中介绍了神经认知网络模型，该模型可以看作是卷积神经网络的初期结构。 20 世纪 90 年代，Yann LeCun 等人提出 LeNet 模型，并成功应用于美国的邮政系统，用来识别手写邮政编码，首次实现了卷积神经网络的商业应用。 2012 年，Geoffrey E. Hinton 等人提出 AlexNet，该模
BP神经网络的人脸识别matlab代码
06-16
3. **构建神经网络**：使用MATLAB的神经网络工具箱构建BP网络，定义输入层、隐藏层和输出层的神经元数量。权重初始化和训练算法的选择也是关键，如梯度下降法或Levenberg-Marquardt算法。 4. **训练网络**：将...
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
盼小辉丶的博客
01-02 6万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
一分钟学会神经网络3——图解深度学习原理(有这篇博客就够了)
fuhao7i的博客
12-17 7751
深度学习原理概述，带你一分钟秒懂深度学习1. 深度学习与人工智能，机器学习之间的关系2. 机器学习工作原理3. 深度学习工作原理3.1 何为“深度”？3.2 神经网络如何对数据进行操作？或进行怎样的操作？3.3 告诉神经网络它的输出符不符合我们的胃口！3.4 进行"学习"4. 深度学习发展现状 1. 深度学习与人工智能，机器学习之间的关系         人工智能包含机器学习，而深度学习又是机器学习的一个分支。接下来，我将循序渐
TensorFlow创建回归神经网络及Optimizer优化器
s44359487yad的博客
09-02 895
注意：在Spyder软件运行代码，一般显示figure的是在IPython console中，如下图所示，图比较小且不能进行操作，同时在IPython console中不能进行动态的figure显示。从最早不合理的图形到后面基本拟合，loss误差在不断减小，说明神经网络的真实值和预测值在不断更新接近，神经网络正常运行。输出结果如下图所示，每隔50步输出结果，第一次的误差是0.45145842，第二次的误差是0.012015346， 其误差在不断减少，说明神经网络在提升预测的准确性或学到东西了。
【论文阅读】一种针对多核神经网络处理器的窃取攻击（2020）
Glass_Gun的博客
09-02 165
攻击者可以通过侧信道信息(Side-channel)完成模型窃取攻击[17].
19.神经网络 - 线性层及其他层介绍
shencanggang的博客
08-29 1128
对输入采用Batch Normalization，可以加快神经网络的训练速度。
四层神经网络，反向传播计算过程；四层神经网络中：y的函数公式是什么
ZJQ的博客
09-02 191
这一步是可选的，因为通常我们不更新输入数据 x。在四层神经网络中，使用均方差损失函数进行反向传播计算是一个常见的训练过程。这里我们简单举例说明这个过程。（注意：这里为了简化，我们省略了样本索引 i，实际上应该对每个样本分别计算然后求和或平均。其中 z2​ 是隐藏层 2 的输入（即 W2​⋅a1​+b2​，其中。假设我们已经完成了前向传播，得到了输出层的。，以便使用梯度下降等优化算法更新这些参数。我们的目标是计算损失函数。然后，计算隐藏层 2 到。
【机器学习】神经网络、隐藏层的基本概念、如何选择隐藏层数量以及胶囊网络对神经网络的影响
最新发布
m0_49243785的博客
09-02 704
神经网络由大量相互连接的节点（称为神经元）组成，这些节点分为不同的层次：输入层、隐藏层和输出层。每个神经元接收来自前一层节点的输入，并通过一个激活函数（如Sigmoid、ReLU等）处理这些输入，然后将结果传递给下一层神经网络是一种强大的机器学习工具，但它们也存在一些挑战，如过拟合、参数调整等。在使用神经网络时，需要仔细设计网络结构、选择合适的激活函数和优化算法，并进行充分的训练和验证。
2神经网络中的层
PGeorge6的博客
09-02 313
从前一层到下一层，上一层的输出是下一层的输入。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

weixin_45352056

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值