日期:2024年07月19日
一、本周科研目标
本周的研究目标是通过阅读相关领域的经典论文,深入了解当前研究的方向。预期成果包括拓展知识面、寻找研究灵感,以及为后续的实验设计和数据分析奠定理论基础。
二、主要进展
1.实验/研究内容
本周主要集中于文献阅读,没有进行具体的实验。
2. 取得的结果和数据
通过阅读文献,对当前研究领域的问题和主要研究方向有了更清晰的认识。
3.文献阅读
- Title: ImageNet Classification with Deep Convolutional Neural Networks
- Authors: Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton
- Affiliation: University of Toronto
- Summary: 该论文介绍了深度卷积神经网络(CNN)在ImageNet数据集上的分类任务中的应用和成功。论文描述了所使用的网络架构,包括多层卷积层和全连接层,并展示了这种方法在大规模图像分类任务上的卓越性能。
- Title: Very Deep Convolutional Networks for Large-Scale Image Recognition
- Authors:Karen Simonyan, Andrew Zisserman
- Affiliation: Visual Geometry Group, University of Oxford
- Summary: 这篇论文介绍了VGG网络,这是一种为大规模图像分类任务设计的深度卷积神经网络模型,特别针对ImageNet数据集。VGG网络的架构特点是使用小卷积核(3x3)跨多个层级,显著增加了网络的深度,与之前的模型如AlexNet相比更深。
4. 关键发现和启示
关键发现
1). 增加卷积神经网络的深度可以提高图像分类的准确性
2). Dropout是一种用于神经网络的正则化技术,可以在防止过拟合并且提高模型的泛化能力。
以下是 Dropout 的工作原理:
对于每一个训练样本,在每一层中以一定的概率 p(通常在 0.2 到 0.5 之间)随机丢弃一些神经元。被丢弃的神经元在前向传播过程中不参与计算,等效于将它们的输出值设置为零。其余神经元的输出则按照 1/(1−p)1/(1-p)1/(1−p) 进行缩放,以保证总体输出的期望值不变。
3). ReLU ( 非线性激活函数 )可以加速深度卷积神经网络的训练速度
4). Softmax是一种机器学习和深度学习中的激活函数,通常作用于分类任务的输出层。它将神经网络的输出转化为概率分布,使得每个值都处于0到1之间,并且输出值总和和为1。
Softmax函数公式如下:
5). 在Very Deep Convolutional Networks for Large-Scale Image Recognition中得知,在训练时对图片采用各向同性缩放的方法处理图片,有利于卷积网络的训练。
6). 高斯分布(Gaussian Distribution),又称正态分布(Normal Distribution),可以用于权重初始化和数据预处理等方面。
权重初始化
在神经网络训练中,合适的权重初始化是非常重要的。AlexNet采用了高斯分布进行权重初始化,具体做法是将权重从均值为0、标准差较小的高斯分布中随机采样。这种方法有助于:
避免在训练初期出现梯度消失或梯度爆炸的问题。
确保每层神经元的输出具有合理的方差,从而使得网络更容易收敛。
数据预处理
AlexNet在数据预处理阶段也应用了高斯分布。具体而言,输入图像数据会进行归一化处理,使其均值为0,方差为1。这种处理方法有助于:
提高模型的训练速度。
使得不同特征具有相同的尺度,防止某些特征因数值较大而在训练中占据主导地位。
启示:
在处理大规模的数据集时,这些技术可以作为一种可行的途径。
论文中的实验设计和结果分析为后续的实验提供了重要参考。
三、遇到的问题与挑战
由于刚进入该领域,有许多概念不够清晰和理解,如:
为什么图像转化成张量后,为什么要进行卷积或者池化等操作 ?
什么是局部响应归一化操作(Local Response Normalization) ?
四、下周计划
1.实验计划
计划先完成计划的实验,寻找VGG的相关代码,并在服务器上运行。
在本地对图片进行一系列操作并观察图片在处理后的变化。
2.文献阅读
优先阅读faster-rcnn,如有空闲阅读rcnn,fast-rcnn。