每周科研总结

日期：2024年07月19日

一、本周科研目标

本周的研究目标是通过阅读相关领域的经典论文，深入了解当前研究的方向。预期成果包括拓展知识面、寻找研究灵感，以及为后续的实验设计和数据分析奠定理论基础。

二、主要进展

1.实验/研究内容

本周主要集中于文献阅读，没有进行具体的实验。

2. 取得的结果和数据

通过阅读文献，对当前研究领域的问题和主要研究方向有了更清晰的认识。

3.文献阅读

• Title: ImageNet Classification with Deep Convolutional Neural Networks
• Authors: Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
• Affiliation: University of Toronto
• Summary: 该论文介绍了深度卷积神经网络（CNN）在ImageNet数据集上的分类任务中的应用和成功。论文描述了所使用的网络架构，包括多层卷积层和全连接层，并展示了这种方法在大规模图像分类任务上的卓越性能。

• Title: Very Deep Convolutional Networks for Large-Scale Image Recognition
• Authors:Karen Simonyan, Andrew Zisserman
• Affiliation: Visual Geometry Group, University of Oxford
• Summary: 这篇论文介绍了VGG网络，这是一种为大规模图像分类任务设计的深度卷积神经网络模型，特别针对ImageNet数据集。VGG网络的架构特点是使用小卷积核（3x3）跨多个层级，显著增加了网络的深度，与之前的模型如AlexNet相比更深。

4. 关键发现和启示

    关键发现

        1). 增加卷积神经网络的深度可以提高图像分类的准确性

        2). Dropout是一种用于神经网络的正则化技术，可以在防止过拟合并且提高模型的泛化能力。

        以下是 Dropout 的工作原理：

        对于每一个训练样本，在每一层中以一定的概率 p（通常在 0.2 到 0.5 之间）随机丢弃一些神经元。被丢弃的神经元在前向传播过程中不参与计算，等效于将它们的输出值设置为零。其余神经元的输出则按照 1/(1−p)1/(1-p)1/(1−p) 进行缩放，以保证总体输出的期望值不变。

        3). ReLU ( 非线性激活函数 )可以加速深度卷积神经网络的训练速度

        4). Softmax是一种机器学习和深度学习中的激活函数，通常作用于分类任务的输出层。它将神经网络的输出转化为概率分布，使得每个值都处于0到1之间，并且输出值总和和为1。

        Softmax函数公式如下:

        5). 在Very Deep Convolutional Networks for Large-Scale Image Recognition中得知，在训练时对图片采用各向同性缩放的方法处理图片，有利于卷积网络的训练。

        6). 高斯分布（Gaussian Distribution），又称正态分布（Normal Distribution），可以用于权重初始化和数据预处理等方面。

   权重初始化

在神经网络训练中，合适的权重初始化是非常重要的。AlexNet采用了高斯分布进行权重初始化，具体做法是将权重从均值为0、标准差较小的高斯分布中随机采样。这种方法有助于：

        避免在训练初期出现梯度消失或梯度爆炸的问题。

        确保每层神经元的输出具有合理的方差，从而使得网络更容易收敛。

    数据预处理

AlexNet在数据预处理阶段也应用了高斯分布。具体而言，输入图像数据会进行归一化处理，使其均值为0，方差为1。这种处理方法有助于：

        提高模型的训练速度。

        使得不同特征具有相同的尺度，防止某些特征因数值较大而在训练中占据主导地位。

        启示：

        在处理大规模的数据集时，这些技术可以作为一种可行的途径。

        论文中的实验设计和结果分析为后续的实验提供了重要参考。

三、遇到的问题与挑战

        由于刚进入该领域，有许多概念不够清晰和理解，如：

        为什么图像转化成张量后，为什么要进行卷积或者池化等操作 ？

        什么是局部响应归一化操作(Local Response Normalization) ? 

四、下周计划

        1.实验计划

                计划先完成计划的实验，寻找VGG的相关代码，并在服务器上运行。

                在本地对图片进行一系列操作并观察图片在处理后的变化。

        2.文献阅读

                优先阅读faster-rcnn，如有空闲阅读rcnn，fast-rcnn。