image2mass 由图像估计物体质量 1

任务背景

全国目前有多家公司正致力于垃圾分类。9ha 公司的一个主要业务是家庭厨余垃圾的转运。员工会上门进行厨余垃圾桶的发放与回收。公司的生活平台将会根据每个家庭的厨余收集量，为用户积分，鼓励用户做好垃圾分类。
但是，厨余的称重过程麻烦，需要消耗大量的人力。如何通过员工随身携带的移动设备获取的图像来估计回收的厨余重量，将会是一个有意义的问题。

数据案例

example 1

example 2

研究计划

调研图像估计质量的算法

完成情况

1.调研 Image2mass。网络模拟物理方法。
Geometry Module 使用 ShapeNet 的 3d 数据集单独训练，来估计图像中物体厚度，矩形边框。
Density Tower 利用原始图像和 Geometry Module 的输出特征 物体厚度、几何属性 来估计物体的密度。
要提到的一点是，该模型的输入是已经分割好的图像。

2.Automatic Weight Estimation of Harvested Fish from Images
该方法使用 U-net 的变体 LinkNet-34 先对包装线上的鱼的图像进行图像分割，得到灰度图，然后累加像素点，使用固定的重量公式估计鱼的重量。固定的公式为：
$$M=c{S}^{3/2},c=1.70,$$

$$M=a{S}^b,a=0.124,b=1.55,$$
其中，$M$ 为质量（$g$），$S$ 为鱼图像面积（$c{m}^2$），且一个像素点的尺度为 $1mm$。

问题分析

该问题并非常见的分类回归问题。

1.厨余桶的规格是一致的
2.从几何的角度，拍摄角度、拍摄距离会对图像处理算法有极大的考验
3.表面厨余孔隙度、表面厨余种类估计可行
4.各个家庭餐饮习惯不同，回收厨余桶相同体积、但重量差距大
5.拍摄不到的桶底部分无解
6.目前标签只有重量，可能使用目标检测和图像分割

下一步打算

继续调研图像估计重量
实现一个简单的通过图像估计物体质量的网络