Image Classification （卷积神经网络基础）

最新推荐文章于 2024-05-29 09:40:07 发布
最新推荐文章于 2024-05-29 09:40:07 发布
阅读量635 收藏 3
点赞数
分类专栏： 深度学习之图像分类 文章标签： 深度学习 人工智能 神经网络 vscode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YYSTINTERNET/article/details/124877960
版权

目录

1.激活函数

1.1.sigmoid激活函数

1.2.ReLU激活函数

2.卷积层

3.池化层

4.误差的计算

5.CrossEntropyLss交叉熵损失

5.1.针对多分类问题（softmax输出，所有输出概率和为1）

5.2.针对二分类问题（sigmoid输出，每个输出节点之间互不相干）

6.误差的反向传播

7.权重的更新 

 8.优化器

8.1.SGD优化器（Stochastic Gradient Descent）

8.2.SGD+Momentum优化器

8.3.Adagrad优化器（自适应学习率）

8.4.RMSProp优化器（自适应学习率）

8.5.Adam优化器（自适应学习率）

9.过拟合

1.激活函数

1.1.sigmoid激活函数

f(x)=\frac{1}{1+e^{-x}}

缺点：Sigmoid激活函数饱和时梯度值非常小，故网络层数较深时易出现梯度消失。

1.2.ReLU激活函数

f(x)=Max(0,x)

缺点：当反向传播过程中有一个非常大的梯度经过时，反向传播更新后可能导致权重分布中心小于0，导致该处的倒数始终为0，反向传播无法更新权重，即进入失活状态。

2.卷积层

  • 目的：进行图像特征提取
  • 在卷积过程中，矩阵经卷积操作后的尺寸由以下几个因数决定：
  1. 输入图片大小W×W
  2. Filter大小F×F
  3. 步长S
  4. padding的像素数P
  • 经卷积后的矩阵尺寸大小计算公式为：N=(W-F+2P)/S+1。
  • 卷积特性：拥有局部感知机制；权值共享。

3.池化层

  • 目的：对特征图进行稀疏处理，减少数据运算量。
  • MaxPooling下采样层

  •  AveragePooling下采样层

  •  池化层总结：没有训练参数；只改变特征矩阵的w和h，不改变channel；一般poolsize和stride相同。

4.误差的计算

 \sigma =\frac{1}{1+e^{-x}}，o_{i}=\frac{e^{y_{i}}}{\sum _{j}e^{y_{j}}} 

经过SoftMax处理后所有输出节点的概率和为1，即o_{1}=\frac{e^{y_{1}}}{e^{y_{1}}+e^{y_{2}}},o_{2}=\frac{e^{y_{2}}}{e^{y_{1}}+e^{y_{2}}}。

5.CrossEntropyLss交叉熵损失

5.1.针对多分类问题（softmax输出，所有输出概率和为1）

H=-\sum _{i}o_{i}^{*}log(o_{i})

5.2.针对二分类问题（sigmoid输出，每个输出节点之间互不相干）

H=-\frac{1}{N}\sum_{i=1}^{N}[o_{i}^{*}logo_{i}+(1-o_{i}^{*})log(1-o_{i})]

其中o_{i}^{*}为真实标签值，o_{i}为预测值，默认log以e为底等于ln。 

6.误差的反向传播

 

7.权重的更新 

在实际应用中往往不可能一次新将所有数据载入内存（算力也不够），所以只能分批次（batch）训练。若使用整个样本集进行求解，损失梯度只想全局最优方向；若使用分批次样本进行求解，损失梯度只想当前批次最优方向。

 8.优化器

8.1.SGD优化器（Stochastic Gradient Descent）

W_{i+1}=W_{i}-\alpha \cdot g(W_{i})

 其中α为学习率，g(W_{i})为i时刻对参数W_{i}的损失梯度。缺点：易受样本噪声影响；可能陷入局部最优解。

8.2.SGD+Momentum优化器

V_{i}=\eta \cdot V_{i-1}+\alpha \cdot g(W_{i}),W_{i+1}=W_{i}-V_{i}

其中α为学习率，g(W_{i})为i时刻对参数W_{i}的损失梯度,η(0.9)为动量系数。

8.3.Adagrad优化器（自适应学习率）

S_{i}=S_{i-1}+g(W_{i})\cdot g(W_{i}),W_{i+1}=W_{i}-\frac{\alpha }{\sqrt{S_{i}+\varepsilon }}\cdot g(W_{i})

其中α为学习率，g(W_{i})为i时刻对参数W_{i}的损失梯度，\varepsilon (10^{-7})为防止分母为零的小数。缺点：学习率下降的太快可能还没收敛就停止训练。

8.4.RMSProp优化器（自适应学习率）

S_{i}=\eta \cdot S_{i-1}+(1-\eta )\cdot g(W_{i})\cdot g(W_{i}),W_{i+1}=W_{i}-\frac{\alpha }{\sqrt{S_{i}+\varepsilon }}\cdot g(W_{i})

 其中α为学习率，g(W_{i})为i时刻对参数W_{i}的损失梯度，η(0.9)控制衰减速度，\varepsilon (10^{-7})

为防止分母为零的小数。

8.5.Adam优化器（自适应学习率）

m_{i}=\beta_{1} \cdot m_{i-1} +(1-\beta _{1})\cdot g(W_{i}), V_{i}=\beta _{2} \cdot V_{t-1}+(1-\beta_{2})\cdot g(W_{i})\cdot g(W_{i}), \hat{m_{i}}=\frac{m_{i}}{1-\beta_{1}^{i}},\hat{V_{i}}=\frac{V_{i}}{1-\beta_{2}^{i}},W_{i+1}=W_{i}-\frac{\alpha }{\sqrt{\hat{V_{i}}+\varepsilon }}\cdot \hat{m_{i}}

  其中α为学习率，g(W_{i})为i时刻对参数W_{i}的损失梯度，\beta _{1}(0.9),\beta _{2}(0.999)控制衰减速度，\varepsilon (10^{-7})为防止分母为零的小数。

9.过拟合

  • 特征维度过多，模型假设过于复杂，参数过多，训练数据过少，噪声过多，导致拟合的函数完美的预测训练集，但对新数据的测试集预测结果差。过度的拟合了训练数据，而没有考虑到泛化能力。
  • 解决方法：使用DropOut的方式在网络正向传播过程中随机失活一部分神经元。

深度学习基础：卷积神经网络与全连接层
AI天才研究院
07-24 859
深度学习基础：卷积神经网络与全连接层 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：深度学习，卷积神经网络，全连接层，图像识别，机器学习 1. 背景介绍
Image-classification
03-20
报告：图像分类 首先，我们进行了一些预处理：由于图像是612x408、3通道，因此我们的首选是减小输入形状，将图像减半并应用重新缩放。对于批处理大小，我们从8开始，然后增加它以增加模型的复杂度，最后达到bs为16。然后，我们应用了一些基本的数据增强功能：水平翻转（不是垂直翻转，因为那样就不会真实场景图片），体重和身高偏移，缩放，旋转和亮度，旨在克服过度拟合的问题。我们使用75％的模型训练数据和25％的模型验证数据分割训练数据。我们使用了分层功能，以便在训练和验证集之间保持相同比例的标签。我们在每组标签中添加了％的检查（每个标签为33％）。之后，我们绘制图像以查看它们的相应标签，然后为每个集合创建生成器，而不增加验证集合。请注意，我们将随机种子设置为固定数量，以便在每次试验中重现训练。在预处理步骤之后，我们开始构建模型，首先不需要进行迁移学习，而是评估可以获取的性能。在本课上看到的卷积基础所
image-classification
01-17
image-classification；图像分类；场景分类；tensorflow；python代码
Image Classification
anshenwa4859的博客
03-05 445
Image Classification¶ In this project, you'll classify images from the CIFAR-10 dataset. The dataset consists of airplanes, dogs, cats, and other ...
图像分类Image Classification
elfighting的博客
01-13 626
CS231n 图像分类Image Classification学习笔记
Image Classification 四标签图像分类
qq_26817675的博客
05-06 1213
通过对模型的训练，预测图像是下列四项中的概率：食物（Food）、服装（Attire）、装饰和签名（Decorationandsignage）、杂项（msic）
用卷积滤波器matlab代码-Machine-Learning-Image-Classification:使用卷积神经网络（CNN）进行深度学
05-21
本文探讨了一种称为卷积神经网络（CNN）的机器学习算法，这是一种用于图像识别和分类的常见深度学习技术。 您将获得一个由5,000张Cat图像和5,000张Dog图像组成的数据集。 我们将训练一个机器学习模型来学习这两个...
hw2_image_classification-master_neuralnetwork_神经网络_神经网络识别_卷积神经_图
09-11
卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习模型，专门设计用于处理图像数据。在本项目“hw2_image_classification-master_neuralnetwork_神经网络_神经网络识别_卷积神经_图”中，我们将...
卷积_卷积神经网络_
10-03
9. **卷积神经网络的应用**：CNN广泛应用于图像分类（Image Classification）、目标检测（Object Detection）、语义分割（Semantic Segmentation）、图像生成（Image Generation）、视频分析等领域。此外，通过时间...
基于多尺度卷积神经网络的交通标志识别.pdf
09-25
基于多尺度卷积神经网络的交通标志识别 本文提出了一种基于多尺度卷积神经网络的交通标志识别模型。该模型通过改进单尺度卷积神经网络中特征提取的基网络，将网络不同层级所产生的特征融合为多尺度特征，并提供给...
imageClassification:图像分类训练与测试
05-03
imageClassification 图像分类训练与测试 技术 语言：Java 开发环境：Eclipse 系统：Windows 简介 图像分类项目包括特征提取、训练和测试三个步骤。特征提取包含了两大类方法，一类是FeatureExtract项目的矩特征，另一类是颜色、形状、纹理的特征提取（Java通过JNI技术调用dll实现）。
第四讲_图像识别之图像分类Image Classification
weixin_34198453的博客
09-12 979
第四讲_图像识别之图像分类Image Classification 目录 图片分类 性能指标：top1,top5 ILSVRC：每种任务数据集不一样 imageNet：根据WorldNet组织的图片集，为每个名词提供平均1000张图片 网络进化 卷积神经网络（CNN） 基础神经网络： 神经元（输入，w,b,sigmoid） 优化：梯度下降，BP反向传播（链式规则），3~5层 ...
image classfication
qq_35085277的博客
03-12 436
intro to image classficationdata-driven approachpipeline Nearest Neighbor Classifier k - Nearest Neighbor Classifier Validation sets for Hyperparameter tuning Pros and Cons of Nearest Neighbor classifi
imageclassification
a793620101的博客
04-11 357
第一节 实现读图from PIL import Image from numpy import array im=Image.open('2.jpg') # print im.shape im1=im.convert('L') im1=array(im1) print im1 print im1.shape 结果[[149 149 149 ..., 149 149 149] [14
图像分类 (image classification)
iCode_girl的博客
06-27 7924
1. 任务 图像分类的任务是判断该图像所属类别。 2. 常用数据集 难度递增：MNIST、CIFAR-10、CIFAR-100、Image-Net 3. 分类经典网络结构 LeNet-5、AlexNet、VGG-16 / VGG-19、GoogLeNet、Inception v3 / v4、ResNet、preRestNet、RexNeXt、随机深度、DenseNet、SENet 今天觉得AI还挺...
Image Classification (CNN-KERAS)
qq_20880939的博客
04-12 1112
图像分类的思路是: 1. 首先，导入可用的工具包； 2. 加载数据并进行相应可视化操作； 3. 尝试一个简单的模型，并评估表现； 4. 由于数据有时候较少，因此使用预训练模型进行微调是比较好的选择； 导入数据包 在导包这块，有些包是必须要进行导入的；有一些需要进行问题的不同灵活选择导入 一般情况下必须导入的包： import numpy as np #(这个包逼着眼...
标题：轻松实现图像分类：强大的Image Classfication框架
最新发布
gitblog_00014的博客
05-29 402
标题：轻松实现图像分类：强大的Image Classfication框架 去发现同类优质开源项目:https://gitcode.com/ 项目介绍 Image Classfication是一个专为图像识别设计的开源项目，其目标是提供一个易于使用、部署和开发的平台。项目以其多样化的模型选择、高效的数据增强策略以及灵活的部署选项，为开发者和研究人员提供了极高的便利性。 项目技术分析 项目的核心是一系...
（一）图像分类任务介绍 Image Classification
m0_54896712的博客
01-11 3617
图像分类任务是计算机视觉中的核心任务，其目标是根据图像信息中所反映的不同特征，把不同类别的图像区分开来。图像分类：从已知的类别标签集合中为给定的输入图片选定一个类别标签（标签：狗，猫，卡车，飞机，...)。数据驱动的图像分类方法是指通过构建数据集并设计一个分类器，让分类器去学习数据集中的规律，将学习后的分类器用于图像分类。数据驱动的图像分类方法有三个步骤：数据集构建、分类器设计与学习、分类器决策。
卷积神经网络在图像识别中的应用
总结以上信息，本资源应该是一个以卷积神经网络算法为基础，实现了图像识别功能的项目。该资源对于学习和应用深度学习技术在图像处理领域具有重要的参考价值。无论是对于理论学习者还是实践开发者，该资源都将是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Caoyy686868

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值