文献题目:基于图像增强和注意力机制的作物杂草识别
主要内容:为提高复杂环境下无人机获取的作物杂草图像识别的准确率,提出一种基于图像增强与注意力机制的作物杂草识别方法。在多尺度 Retinex算法中加入颜色恢复函数调节3个通道颜色的占比以恢复其颜色特征,使 图 像 更 清 晰;将 残 差网络模型中的激活函数换为 LeakyReLU,加入 CBAM 注意力机制模块,获取更多有用信息,抑制其它无用信息。
1.数据处理
1.1数据处理
实验数据是利用大疆无人机进行拍摄。其 图 像 规 格 为4000像素×3000 像 素,JPG 格 式。实 验 图 像 于 2020 年 6至7月采集自吉林农业大学农业试验田,飞 行 高 度 大 约30m~50m。
1.2图像预处理
由于图像尺寸较大,将原始的大图像裁剪成200×200的小图像,最后得到19129张图像,其中包括10847张大豆作物、4357张禾本科杂草、2014张阔叶型杂草以及1911张土地图像,并 按7 3的比例划分训练集和测试集。图1展示了裁剪后的作物杂草图像。将图像随机裁剪并统一缩放至适合 ResNet18模 型 要 求 的 224×224尺 寸。由 于 图 像数量不均衡,会导致训练出来的网络模型效果不佳,所 以对图像进行翻转、旋转等方式扩充数据.
1.3归一化处理
归一化就是将所有的数据都限制在需要的一定范围内,归一化的主要目的之一就是为后面的数据处理工作提供方便,然后加快程序运行的收敛速度。
2.改进多尺度 Retinex算法的图像增强
由于无人机在拍摄图像的过程中,会 受 到 自 然 现 象 的影响而出现抖动 颠 簸,导致采集到的图像模糊和噪声大的缺点。所以本 文 采 用 改 进 的 多 尺 度 Retinex算 法 对 作物杂草图像进 行 增 强,使 图 像 更 清 晰,便于卷积神经网 络提取特征
3. 构建改进 ResNet网络作物杂草识别模型
本文在网络中加入注意力机制模块,来获得更多所需关注对象的信息,抑 制 其 它无用信息,以适应图像的背景复杂问题,有 助 于 增 强 作 物杂草有效特征的 表 达,从而提高对复杂环境下作物与杂草的识别准 确 率。ReLU 激活函数会影响神经网络的收敛,且该激活函数训练过程中对于较大梯度的输入会导致权重无法更新,数据中的大量特征信息被屏蔽。所以使用Leaky ReLU 激 活 函 数 代 替 ReLU 激活函数来加快网络的收敛速度。
改进 ResNet网络作物杂草识别模型
使用了 一 种 通 道 与 空 间 的 注 意 力 机 制 相 结合的模块:CBAM ,将 该 模块加入到 ResNet18网络结构中通道注意力模 块,使网络能更加注意相对重要的通道信息,而提取更有效描述作物和杂草的特征。该 模 块 先 经过最大池化和 平 均 池 化,然后经过一个共享网络,得 到 的特征进行相 加 再 经 Sigmoid激 活 函 数,最 后 得 到 了 通 道 注意力特征图:
x为上一层的输出,a为一个很小的常数。当输入为 正值时相当 于 ReLU 激 活 函 数,输 入 保 持 不 变;当 输 入 为 负值时,因为a为给定的一个很小的常数,保 留 了 一 些 负 轴的值,使得负轴的信息不会丢失,梯度也能够正常传播
改进后的网络与之前的网络对比:
4.试验结果分析
未经过处理的图像经过训练后效果不理想,而通过多尺度 Retinex算法图像增强的数据经过训练,得到的测试集 准 确 率 有 所 提 升,可 以 达 到92.6%;经过改进的多尺度 Retinex算法图像增强的数据经过训练,得 到的测试集准确率可以达到95.3%,网 络 模 型 的 性 能 有 明 显的提升。因此本研究中对作物杂草数据进行图像增强处 理可以有效地提升网络模型的性能。
经过改进的多尺度 Retinex算法进行图像增强后的数据经过训练,所得到的模型的性能更稳定,模型的识别效果更好。改进的多尺度 Retinex算法进行图像增强的数据经 过 训 练,在不同的网络模型中,其 网 络 模 型的性能均有明显 的 提 升,提高了模型的识别准确率与鲁棒性。
通过替换 ReLU 激活函数为 LeakyReLU 激 活 函 数, 其作物杂草图像识 别准确率提高了0.3%;而使用改进网络与 ReLU 激活函数,其识别准确率提高了1.1%;本文方法与3种不同改进算法和其它现阶段主流算法相比,识别准确率最高,识别效果最好。
作物杂草图像的识别结果对比可以看出,本文的作物杂草识别模型对复杂环境下无人机获取的作物杂草图像的识别效果要优于 AlexNet、ResNet18、Res-Net50模型及其它主流算法的识别效果。依据图像中的作物杂草识别结果使用无人机对农田中的杂草进行大面积精准施药。
python裁剪代码裁剪效果:
代码:
裁剪效果: