image2mass 由图像估计容器内物体质量 2

研究计划

调研图像估计质量的算法
实现一个简单的通过图像估计物体质量的网络

完成情况

一、 论文 Estimation for fish mass using image analysis and neural network
算法流程：
1.调整图像灰度，对比度，增强图像的特征。在灰度图像上，使用 Grabcut 手动框选目标，再进行图像分割，对图像做二值化处理。
2.从二值图像中提取特征。如鱼的高度、宽度、面积。
Grabcut 可以手动框选目标，通过前景和背景来提高图像分割的效率。
但是如何获取目标的框图在文中并未提到。部分相关计算其他论文中有提到（Automatic mass estimation of Jade perch Scortum barcoo by computer vision）

特征的计算公式：

3.在生产线上用标尺来消除拍摄距离对估计的影响。利用标尺的原始大小和在图像中的大小，调整特征值。（原文没有提到的是，可能使用了同样的图像分割方法来获取图像中硬币的直径）

4.使用PCA对提取的特征降维后，将特征值输入进一个带两个隐层的全连接神经网络中，最后输出质量。

阅读总结：
未使用到图像处理的深度学习方法，更偏向于传统的物理层面的建模。
该论文和我们的目的相似，使用到了标尺来解决拍摄距离不同的问题。
我们的任务中，厨余桶的大小不变，并且为圆筒状，所以对于拍摄距离不同的问题的处理更方便。
关于图像增强，该论文由于任务的单一性，使用了灰度图像。本任务依旧使用RGB图像来提取特征。

二、 论文2 Vegetable Mass Estimation based on Monocular Camera using Convolutional Neural Network
流水线上估计蔬菜的质量
直接使用预训练好的 Xception、VGG16、Resnet50、Inception_v3 来做训练。最后选择VGG16进行微调。

三、 厨余质量估计 网络实现
采用预训练的 Resnet34 进行训练，在 Resnet 基础上输出部分为用于回归的全连接网络，因为质量不可能出现负值，所以激活函数选用 Relu。
图片总数 373 张，训练集 312 张，验证集 61 张。标签使用了 min-max 归一化，输出反归一化的结果。

评价指标

Method	MAE(kg)	RMSE(kg)
Resnet 34	2.215	2.607

问题分析

1.网络本身不够有效，要提升效果，可加入目标检测，再按照桶口的直径缩放为统一规格的图像。缩放后的想要保持图像高度不同，以保留拍摄角度的信息。
2.为解决不同拍摄角度问题，可以尝试使用新的正弦激活函数，将拍摄角度进行映射。
3.加入图像分割，使得模型可以区分厨余桶与厨余。
4.对于表面可见的厨余，可以估计该厨余桶的平均密度。
5.因为该问题本身可能存在的误差就很大，桶底的厨余不可见，导致误差大。
6.考虑近距离拍摄时，透视原理所造成的影响。
7.

下一步打算

1.继续调研图像估计重量
2.继续实现 Xception、VGG、Resnet、Inception 等可使用的图像特征提取网络，来进行桶质量回归。
3.使用 labme 对图像进行标注（目标检测）