卧式纯绿-CSDN博客

原创卷积神经网络基础（十一）

本文探讨了神经网络中权重初始值的重要性及其设定方法。首先，文章指出权重初始值不能设为0，因为这会导致权重更新对称，影响网络学习效果。接着，通过实验观察隐藏层激活值的分布，发现使用标准差为1的高斯分布会导致梯度消失问题，而标准差为0.01则可能导致表现力受限。最后，文章推荐使用Xavier初始值，即根据前一层节点数调整权重尺度，以保持激活值的广度分布，从而提高学习效率和表现力。

2025-05-22 16:55:31 645

Adam优化方法结合了Momentum和AdaGrad的优点，通过调整参数更新步伐和动量，实现高效参数搜索。它引入了三个超参数：学习率α，以及两个动量系数β1和β2，通常设置为0.9和0.999。Adam方法在解决最优化问题时，减少了左右摇晃，使得学习更新更加稳定。在比较SGD、Momentum、AdaGrad和Adam四种优化方法时，实验表明，除了SGD，其他三种方法在收敛速度上表现相似，其中AdaGrad略快。然而，没有一种方法在所有情况下都表现最佳，选择合适的方法需根据具体问题。

2025-05-21 15:18:56 347

原创卷积神经网络基础（九）

Momentum是一种优化算法，旨在改进随机梯度下降（SGD）的性能。它通过引入“动量”概念，模拟物理中的物体运动，减少优化路径中的震荡，从而更快地收敛到最低点。Momentum的核心思想是在更新权重参数时，不仅考虑当前的梯度，还考虑之前的速度（v），通过一个衰减系数（α）控制速度的累积。这种方法使得在梯度方向一致的维度上加速，而在梯度方向频繁变化的维度上减速，从而有效减少“之”字形路径，加快收敛速度。Momentum的代码实现通过维护一个速度变量v，结合学习率和动量参数，更新权重参数。与SGD相比，Mom

2025-05-19 15:41:49 949

原创卷积神经网络基础（八）

下面我们会进入全新的一章，主要学习与学习相关的技巧。本章主要介绍神经网络学习过程的重要观点，主题涉及寻找最优权重参数的最优化方法、权重参数的初始值、超参数的设定方法等。为了应对过拟合，本章还会介绍权值衰减、Dropout等正则化方法，并进行实现。最后会介绍一些研究实验中Batch Normalization方法进行简单介绍。

2025-05-08 11:06:56 747

原创卷积神经网络基础（七）

在本章节中，我们将计算过程可视化，称为计算图，并使用计算图介绍了神经网络中的误差反向传播法，以层为单位实现了神经网络中的处理。一般来说，数值微分和误差反向传播法的梯度误差不会等于0，因为计算机计算精度有限(通常是32位)，实现正确的话这个误差值一般是一个很小很小的数，无线接近于0，但不会到0.如果这个值很大，则说明误差反向传播法的实现存在错误。从结果可以看出，数值微分和误差反向传播法的梯度误差很小，第一层只有9.7e-13，这样我们就知道误差反向传播法求出的梯度是正确的，实现无误。

2025-05-07 17:16:48 558

原创卷积神经网络基础（六）

我们已经学习了误差反向传播法的好几种实例及其实现，现在我们可以开始构建神经网络了。七、误差反向传播法的实现。

2025-05-07 10:50:34 480

原创卷积神经网络基础（五）

softmax函数会将输入值正规化，即输出值的和为1之后再进行输出。手写数字的分类有10个，所以softmax层输入也有十个，输出也是10个，代表各类别的概率。

2025-05-06 20:27:03 845

原创卷积神经网络基础（四）

今天我们继续学习各个激活函数层的实现过程。

2025-04-22 21:43:37 1147

原创卷积神经网络基础（三）

今天我们将从python实现购买苹果的例子开始。要实现的是计算图的乘法节点称为“乘法层”（MulLayer），加法节点称为“加法层”。

2025-04-21 15:13:25 555

原创卷积神经网络基础（二）

主要介绍反向误差传播法

2025-04-19 16:49:38 912

原创每日文献（十四）——Part one

近年来，基于深度卷积神经网络的目标检测方法[1]、[2]、[3]在计算机视觉领域取得了重大进展。然而，卓越的性能在很大程度上依赖于丰富的注释图像的可用性。通常，获得足够的标记数据是劳动密集型的，并且可用训练样本的数量有限严重限制了当前视觉系统[4]，[5]，[6]的应用。为了克服这一障碍，研究人员开创了少量样本学习[7]，[8]，[9]的进步，它显示了用有限的标记数据泛化到新类别的能力。

2025-04-18 16:03:50 974

原创每日文献（十三）——Part two

在本文中，我们引入了一种名为RefineNet的新策略来提高车辆检测的定位精度，并在AUC下获得了高达6%的增益。我们的方法依赖于使用已经计算的特征，使检测器非常快。具体来说，RefineNet在每张图像上运行大约0.22秒。在KITTI目标检测基准测试中，在中等难度设置下达到79.19%。它是最快的检测器，达到70%以上的AUC。在简单的难度设置下，它达到了90%的AUC，接近最先进的结果。结果表明，采用ZF结构，该方法大大提高了检测性能。使用更深层的网络(如VGG)来提高性能，将在未来进行研究。

2025-04-16 14:45:22 740

原创每日文献（十三）——Part one

在为智能车辆和机器人开发基于视觉的系统时，精确的目标定位是一个重要的挑战。自动驾驶的基本组件，如环绕物体的精确3D定位、环绕代理行为分析、导航和规划，以及其他高级视觉任务[2]，都受到初始物体定位质量的影响。本文研究了通过增加一个迭代改进目标盒建议的模块来改进深度卷积神经网络(CNN)目标检测器。所提出的细化模块重量轻，能够实现快速、高质量的目标检测。我们将这种新策略称为RefineNet，并分析了它的行为和收敛性。

2025-04-15 22:21:53 958

原创每日文献（十二）——Part two

今天从第四节：结果开始介绍。

2025-04-14 10:06:06 1835

原创每日文献（十二）——Part one

最近基于cnn的目标检测取得了显著的进展，提高了精度。更快的R-CNN具有集成的区域提议网络和端到端目标检测和区域提议网络的训练方案，为许多目标检测数据集设置了令人印象深刻的基线。为了寻求进一步的改进，社区主要选择了三种路径:1)深度网络:最值得注意的是，ResNet[13]使用使用残差学习训练的101层深度cnn从图像中学习更复杂的表示，2)多任务学习和多特征分类(图2):多任务学习是指使用不同的任务为目标检测提供额外的监督和正则化。这是通过训练网络来完成除了目标检测之外的辅助任务。

2025-04-13 18:55:19 884

原创每日文献（十一）——Part two

今天从第四章：快速RCNN，方法细节开始介绍。

2025-04-12 16:18:06 698

原创每日文献（十一）——Part one

目标检测的目标是学习汽车等概念的视觉模型，并使用该模型在图像中定位这些概念。这需要有能力对光照、变形、遮挡和其他类内变化进行稳健的不变性建模。处理这些不变性的标准范例是收集具有不同条件下目标实例的大规模数据集。例如，COCO数据集[18]有超过10K个不同遮挡和变形下的汽车样本。希望这些示例能够捕获视觉概念的所有可能变化，然后分类器可以有效地为它们建模不变性。我们相信这是卷积神经网络在目标检测任务上如此成功的主要原因之一:它们能够使用所有这些数据来学习不变性。

2025-04-10 11:41:43 654

原创每日文献（十）——Part two

今天从第四部分级联RCNN开始介绍。

2025-04-09 18:41:46 739

原创西电服务器环境配置问题汇总（一）

这里提供西电服务器使用过程中各种问题的一个汇总，由于问题的发生全都由笔者亲身经历，问题不全敬请原谅，后面也会一一补上。

2025-04-08 10:25:02 441

原创每日文献（十）——Part one

目标检测是一个复杂的问题，需要解决两个主要任务。首先，检测器必须解决识别问题，将前景目标与背景目标区分开来，并为其分配合适的目标类别标签。其次，检测器必须解决定位问题，为不同的目标分配准确的边界框。这两种方法都特别困难，因为检测器面临许多“接近”误报，对应于“接近但不正确”的边界框。检测器必须找到真阳性，同时抑制这些接近的假阳性。目标检测是一个复杂的问题，需要解决两个主要任务。首先，检测器必须解决识别问题，将前景目标与背景目标区分开来，并为其分配合适的目标类别标签。

2025-04-07 11:54:59 1900

原创每日文献（九）——Part two

今天从第三章：语义分割注意CNN模型开始介绍。

2025-04-06 17:11:31 1078

原创每日文献（九）——Part one

目标检测是计算机视觉中研究最多的问题之一，即以边界框包围图像中每个的物体。由于深度学习发展，目标检测进展飞快.其中最著名的工作就是Sermanet等人使用的overfeat框架和Girshick等人的RCNN框架。Overfeat使用两个CNN模型，以滑动窗口的方式应用于图像的多个尺度。第一个用于对窗口是否包含对象进行分类，第二个用于预测对象的真实边界框位置。最后，将密集类和位置预测与贪婪算法合并，以产生最终的目标检测集。

2025-04-06 16:56:38 1034

原创每日文献（八）——Part six

今天是最后一章，总结与回顾。

2025-04-05 15:00:00 221

原创每日文献（八）——Part five

今天从第六章CNN应用开始。

2025-04-05 10:00:00 796

原创每日文献（八）——Part four

今天从第五章节 CNN的迅速发展开始介绍。

2025-04-04 15:00:00 914

原创每日文献（八）——Part three

今天从4.5节规则化开始介绍。

2025-04-04 10:00:00 706

原创每日文献（八）——Part two

今天从3.3节激活函数开始介绍。

2025-04-03 10:00:00 1013

原创每日文献（八）——Part one

卷积神经网络(CNN)是一种著名的深度学习架构，其灵感来自于生物的自然视觉感知机制。1959年，Hubel & Wiesel等人发现动物视觉皮层中的细胞负责在接受区探测光线。受到这一发现的启发，福岛邦彦于1980年提出了新认知器，这可以被视为CNN的前身。1990年，LeCun et al.[3]发表了建立CNN现代框架的开创性论文，并在[3]中对其进行了改进。他们开发了一种多层人工神经网络，名为LeNet-5，可以对手写数字进行分类。

2025-04-02 15:05:15 1385

原创每日文献（六）——Part two

今天从第三章：通用目标检测开始。

2025-03-31 19:18:00 746

原创每日文献（七）

今天看《Deep Network-Enabled Haze Visibility Enhancement for Visual IoT-Driven Intelligent Transportation Systems》论文地址：https://drive.google.com/file/d/1EktkeJZDcI6AEgCYsYzzIwE9-JxbXxUN/view标题是“物联网驱动的可视智能交通系统的深度网络化雾霾能见度增强”The Internet of Things (IoT) has rece

2025-03-30 10:00:00 1444