基于计算机视觉技术的水果分级研究

基于计算机视觉技术的水果分级研究进展

摘 要；较为全面地介绍了国内外基于计算机视觉技术的水果外观品质的单指标分级、多指标综合分级和 水果内部品质检测分级的研究现状与方法，指出了现有研究中研究对象较单一、图像釆集不全面、图像处 理算法不多、精度不高等存在的主要问题。同时，提出了未来水果分级的发展方向，认为水果内外品质融 合的亠体化分级技术是未来的发展趋势。

关键词：计算机应用；计算机视觉；综述；水果；内外品质；图像处理；分级

0引言

我国是世界水果生产大国，自1993年以来， 水果总产量一直居世界第1位。据农业部预测统计， 2006年我国水果产量及果园面积保持继续增长势 头，果园面积突破lOOOOkhm2,水果总产量近17000 万t⑴，但我国水果在国际市场的竞争力很弱，出 口水果数量占总产量的极少部分，2005年和2006 年鲜冷冻水果出口维持在200万t左右，以香港市 场为例，我国出口柑橘数量占香港市场的2/3,但 是我国收汇只占1/3,单价仅为其他国家的1/4。提 高我国水果在国际市场的竞争力，强化釆后处理是 关键。发达国家的经验告诉我们，水果产值的大部 分是由采后处理和加工创造出来的⑵。在美国、欧 洲以及澳大利亚等国家，除了在收获季节随摘随卖 少量水果之外，绝大部分水果都必须经过采后处理 程序，否则不能成为商品⑴。目前，我国水果采后 处理能力不到水果总量的5%,釆后烂果率高达25% 以上。由此可见，水果采后处理对我国水果业乃至 整个农业的重要性。

1水果外部品质分级现状

水果智能分级技术涉及计算机、CCD技术、模 式识别、数字图像处理、光学、数学、数学形态学、 自动化、人工智能、视觉学、心理学、脑科学等众 多学科⑴。全球从事计算机视觉产品生产的企业有 上百家，产品有相机、电源、传感器、镜头、图像 卡、图像处理器和软件句等°知名企业有一：DALSA coreco, Siemens, SICK, National Instrument, Edmund Optics Inc, Hamamatsu Photonic Systems, Basler Vision Technologies 和 Cognex 等⑸。生 产智能水果分级设备也不少,Mitsubishi Corporation 生产水果成熟度分级机，美国俄勒冈州的 Alle Electronics Corporation 生产"Inspect- tronicH 装置，美国 Autoline Corporation 生产 Model 4至Model 8的系列分级设备。我国浙江、 江苏和台湾也生产有分级设备。基于计算机视觉技 术的水果外部品质分级是根据水果的大小、形状、 颜色和表面缺陷等外部品质特征进行的，有单指标 分级和多指标综合分级两大类。

1.1基于计算机视觉技术的水果单指标分级

1.1.1水果大小分级

水果大小是分级的主要依据之一，是水果等级 不可缺少的重要指标。Dabenel A等( 1988 )⑹利 用机器视觉技术进行苹果大小和碰伤分级的深入研 究，但分级正确率仅为69%。国内开展水果智能分 级的研究巳近10年，由于很好地借鉴了国外在该领 域的研究成果，发展速度较快。应义斌( 2000 )⑺ 去除果梗并完成了边缘提取与细化的水果图像，通 过曲线积分并离散，求水果形心坐标，进而建立黄 花梨实际最大横径与预测最大横径关系的线性回归 方程，二者相关系数为0.96。冯斌等(2003 )修通 过水果图像的边缘像素求水果形心，取过形心的半 径序列中最小值方向为水果轴向，将轴向宽度4等 分，过3等分点求垂直于轴向的果径，最大值作为 水果大小的特征值。试验结果表明，轴向检测正确 率达94.4%,水果大小检测最大绝对测量误差为 3倾。饶秀勤等..(2003 )⑼分析了水果实际尺寸与测 量值之冋的半径误差是由成像时光线无法从水果最 大截面处通过所致。应义斌等（2004） "'J研究了一 种利用柑橘的最小外接矩形求柑橘最大横径的方 法。一实验表明,实际最大横径与预测最大横径的相 关性为0. 9982。章程辉等（2006 ）血通过形态学处 理可见光图像检测红壬丹尺寸，试验结果与人工测 量结果之间长轴的平均误差为7.3%,短轴的平均误 差为8.5%；用X射线图像检测红毛丹尺寸，长轴的 平均误差为3.4%,短轴的平均误差为2. 7%。

1.1.2水果形状分级

水果的形状受生长环境因素的影响千差万别， 不同种类的水果形状也是多种多样。目前描述水果 形状的方法很多，包括编码法、统计法、几何结构 法和光谱法等。边界编码法虽然能够准确地描述水 果的形状，但是数据量大而且压缩困难。动差、弯 曲能、最大一最小直径和差分等统计学方法虽然效 率高，但描述形状不规则的水果时精度较低，釆用 边界半径和傅立叶变换对水果的外形进行描述，不 仅准确性高而且速度快。

Pavlids T （ 1982 ）'⑵提出了结构分析法和外 形轮廓曲线检测法两种形状识别的模式。Varghese 2 （ 1991 ）'⑶利用计算机视觉技术对苹果进行了果 形判别的研究，试验中人为将苹果的果梗与花萼轴 定向,釆集苹果不同角度的5帧图像，用矩方法分 析苹果图像，但果形判别的准确度与苹果旋转角度 有关。Ding K 和 S. Gunasekaran（1994）""通过比较 被測苹果和无损伤普通苹果形状建立了一种苹果形 状特征的抽取方法0 Heinemann P. H等（1994）'15] 提出了一个三阶矩的“Golden Delicions"苹果形 状分类器。Leemans V（I995）l，fi]系统地应用圆度、 矩形率、矩、惯性主轴、偏心率、矩不变因子等描 述了果形的性能，结果表明常规的区域为基础的信 息（如惯性主轴、矩等）描述果形的方法不是精确 度不高就是对苹果的旋转、位移敏感性太强，适应 性较差。Ingrid Paulus等（1999）冋研究表明，苹 果的形状可以由傅立叶变换的前12个正弦值和12 个余弦值表达，相关性超过0.98o Singh N等提出 了用离心率来衡量苹果形状的好坏，通过计算机视 觉系统对每个苹果采集3帧图像，然后分别求出每 一图像中苹果的离心率，接着取其中的最大值作为 该苹果的形状指标。而Kuhn等则以对称性（即轴最 大与最小尺寸的比值）为指标检测形状。.

应义M （ 2001）'硏研究水果分级时发现用傅立 叶描述子的前4个増波分量的变化特性能够较好地 代表水果的形状，用前15个谐波分量来描述形状则 可达到相当高的精度，而且傅立叶描述子可以平移、 旋转和缩放，具有很强的水果外形重建功能。赵静 等（2001 ）3在综合分析果实形状的基础上，提出 了用半径指标、连续性指标、曲率指标、半径指标 的对称性、连续性指标的对称性和曲率指标的对称 性6个特征参数表示果形，结果表明计算机视觉与 人工分级的平均一致率在93%以上。沈明霞等 （2003）州用傅立叶描述子提取苹果的形状特征， 使用遗传算法和BP算法相结合的算法进行苹果形 状识别，试验结果表明该方法正确率在80%以上。 高华等（2004）"提岀了釆用傅立叶半径描述子对 农产品图像轮廓进行描述和分类的方法，并给出了 利用半径描述子计算图像区域面积及利用欧几里德 距离判定边界相似度的方法。林开颜等（2005 ）物 提岀了基于傅立叶变换的水果形状分级方法，用梯 度法检测图像边缘，边界跟踪算法获取水果轮廓半 径序列，将其离散傅立叶变换，最后用傅立叶系数 定义分类器，根据给定的分类阚值对水果形状进行 分类。黄星奕等（ 2006 ）用提出了一种实时在线检 测苹果果形的计算方法，用几何法确定苹果的近似 横径和纵径，做测量值与实际值间的线性回归，试 验结果表明测量值与真实值的吻合率大于9Q%。 1.1.3水果颜色分级

颜色是衡量水果外部品质的一个重要指标，髙 品质的水果一般具有着色好、均匀的特征，同时水 果的颜色也间接反映了水果的成熟度和内部品质， 国内外学者又在水果颜色检测与分级方面进行了大 量研究。TaoY（1995）"报道，HIS彩色系统用于颜 色测量和图像处理效果好，同时用色调直方图表示 颜色特征，采用多变量识别技术在检测土豆和苹果 颜色时，分级正确率达到90%以上。Kazuhiro Nakano （1997）[25；采用二级神经网络对苹果颜色进 行颜色分级。其中，一级神经网络依据像素的色'泽 将每个苹果果面上的像素分为5类，二级神经网络 则依据整个果面的颜色状况及一级神经网络的输岀 值把苹果分成6个级别,通过将苹果果面沿花萼与 果梗方向分区并进行处理，解决了因苹果果面曲率 不同而引起的反射梯度不同的问题。李庆中等 （ 2000 ）皿通过将RGB模型转换为HIS颜色模型形 成苹果的色度图像，并将其等分，求各区间上频度 均值并作为苹果颜色的特征参数，利用遗传算法实 现多层前馈神经网络识别器的学习设计，从而实现 苹果颜色的实时分级。试验结果表明，颜色分级识 别率在9。％以上’分级1个苹果所用时间150mso冯 斌等（2002 ） [27J考虑各色度点的累计和空间分布特 性，以各色度在水果表面分布的分形维数为特征进 行分级，通过神经网络分类器，分级正确率达到 95知 应义斌等（2004） [283通过对6个位置、3种大 小、19种不同表面颜色的标准实验球体图像分析后 发现，球体图像的颜色失真主要是颜色的亮度失真， 并建立了摄像视区中心球体图像的亮度校正模型， 其相关系数为0. 846。章文英等（2005 ）'盅通过1931 色度图，用像素点变换法恢复苹果在二维投影图像 中真实几何信息，重新计算像素点面积，从而计算 苹果的着色面积。谢志勇等（2006）"提岀了一种 只需加减运算的在RGB颜色模型中进行草莓图像色 调分割的算法，其分割效率大于85%。

1.1.4水果表面缺陷检测

果实表面缺陷与损伤极大地影响着水果内外 品质，且是水果分级中的一大难题。Rehkugler等 （.1985）⑶‘研究了利用机器视觉进行苹果表面压伤 检测，并根据美国苹果标准进行分级，但分级精度 不高。Yang（ 1994）阿提出了用洪水算法分离块状 缺陷、花萼和果梗的图像方法。随后Yang （ 1995 ） '關提出了蛇形算法对封闭式缺陷实施分离，二者均 通过中值滤波和高斯滤波降低噪声,并用阈值法分 离各种缺陷。Leemans等（ 1998）肛求整个苹果表 面色度均值与每个像素色度值的方差或均方差，若 差超过极限值，则认为该像素为缺陷，并通过二次 修正提高检测精度。Tao等s g提岀球体灰度变换 法，使水果表面的缺陷可用单阈值进行分割,解决 了水果图像由于中部缺陷部分灰度值高于边缘正常 部分灰度值而不能一次分割的问题。该方法根据带 缺陷的原始图像计算出与原图像相应的反向无缺陷 图像，由二者相加得到变换后图像，消除了物体的 空间形状对图像灰度值的影响，而只保留了水果缺 陷与正常部分之间由于反射系数的不同所产生的灰 度变化情况，因此可以利用单阚值分割。但计算与 原留像相应的反向无缺陷图像复杂，费时。应义斌 等（1999 ）网提出用红、绿、蓝色彩分量在坏损与 坏损处的突变，求出可疑点，再经区域增长定出 整个受损面，试验表明该算法是精确的。李庆中等 （2000 ）關提出了双金字塔数据形式的盒维数快速 计算方法，对于待识别水果图像的可疑缺陷识别， 其准确率93%。何东健等（2001）如改进活动边界 模型，并用插值算法准确检测苹果封闭缺陷边界。 冯斌等（2002 ）网充分利用苹果空间形状对灰度的 影响特征，采用了傅立叶变换确定灰度线形状，成 功地对果梗、花萼.和缺陷进行了识别，正确率髙于 90%o刘禾等（2004）叼利用二叉树将苹果表面缺 陷分类分解为多级的二类模式分类问题，并结合神 经网络分类器将苹果表面缺陷分类。書星奕等 （2004 ）'關提出基于HIS颜色模型下亮度I的分布 特性后，再提取区域纹理特征，结合神经网络分类 器，区分果梗与飮陷。试验结果表明，该算法准确 率接近90%°

1.2基于计算机视觉技术的水果多指标综合分级

水果准确快速分级难度很大，这与水果的各生 长环境下表现出的形态有关。多指标综合分级技术 是依据水果外观指标中形状、大小、颜色及其表面 缺陷的指标组合进行的。1988年，Dabenel A等人 利用机器视觉技术进行苹果大小和碰伤分级的深入 研究，但分级正确率不高。Tao （ 1995）研制了 Merling高速高频机器视觉水果分级系统，论述了 该系统所涉及到的各种技术环节，包括频谱增强、 彩色图像分析、噪声过滤与变换等技术，提出了具 体的设计要求，该机的生产能力为44t/h,可用于 苹果、柑橘、桃子、西红柿及其它水果的分级。张 书慧等（1999） “针对苹果、桃的颜色、形状、表 面缺陷等特征，开发了对其综合外观品质进行检测 的图像处理系统，并建立了农副产品图像数据库， 用此系统对100个苹果进行分级，优质果准确率达 96%。应义斌（2000 ）的在建立图像中的点与被测 物体上的点之间的定量关系的基础上，提出了利用 物体的边界信息求出物体的形心坐标的方法，进而 利用机器视觉技术精确检测水果尺寸和表面缺陷面 积，检测精确度达96%0籍保平（2000）网设计了 计算机视觉苹果分级系统，可对苹果的缺陷、色泽、 尺寸和形状进行全面地检测°龙满生（2001） 建 立了基于遗传神经网络的综合分级系统，涉及到苹 果的形状、颜色和缺陷3个特征参数，正确识别率 90.8%o包晓安等（ 2004 ）总以富士苹果为研究对 象，提出了用计算机图像处理以及与改进的学习向 量量化神经网络融合的一个苹果等级判别系统，从 苹果的色泽、果形指数以及质量3个方面综合对苹 果等级进行评判，识别正确率88.9%。2004年，通 过电耦合摄像头从苹果的色泽、横径和果形指数3, 个方面采集数据；包晓安采用改的学习向量量化 网络对苹果评判，正确率有所提高'噸。杨东平等 （ 2005）旳建立了一种基于数字信息处理器为核心 的苹果检测方法，从数字图像中提取苹果形状、尺 寸、颜色和缺陷信息与标准比较，确定每个苹果质 量等级。黎静等（2006）回研究了基于计算机的脐 橙分级系统，先对图像分割出背景、脐橙本体和表 面缺陷，再根据脐橙的分级标准，提取出果实横向 横径、表面缺陷特征参数，采用径向基神经网络对 脐橙样本进行等级识别。

2水果内部品质分级现状

水果内部品质无损伤检测技术是对成熟度不

一致的水果进行椎确分级的关键，利用计算机视觉 技术实现水果内外品质无损伤检测与分级是目前国 际上正在研究的热点。Miller B K等(1989 )物 研制了一套检测和分级新鲜市售桃的彩色计算机视 觉系统，采集桃的数字图像，将桃的实际颜色与不 同成熟度桃的标准颜色比较，从而确定桃的成熟度。 结果表明，计算机视觉成熟度的检测结果与人工检 测的结果吻合度为54%,计算机视觉检测的表面着 色面积与人工检测的着色面积的相关系数为0. 920 Throop J A等(1989 )啊的研究表明利用计算机视 觉通过检测平均灰度来确定可见光在苹果中的透射 能力，可以100%地测量苹果中是否有水芯存在，但 无法确定水芯的严重程度。国内水果内在品质的研 究处于起步阶段。应义斌( 2004 )"以表面色泽与 固酸比(柑橘中可溶性固形物与总酸的比值)为柑橘 成熟度指标，建立了用于柑橘成熟度检测的计算机 视觉系统，对72枚柑橘样本进行了试验，柑橘成熟 度的判别准确率达到9L67%。2006年，应义斌提出 了用与各个色度对应的像素在图像中出现的频度构 成的频度序列描述图像的颜色信息的新方法，并利 用人工神经网络方法建立了根据柑橘图像的色度频 度序列判断柑橘成熟度的映射器，对252枚成熟和 未成熟的尾强系柑橘进行检验，判断正确率分别为 79. 1%和63.6%,总的判断正确率为77. 8%响。

3结论与展望

1. 研究分级的水果品种较单一，主要集中在 外形呈仿球形的水果方面，以苹果、柑橘等水果研 究较务，其他水果检测与分级研究较少，所研究的 水果种类面要拓宽。
2. '在水果分级及检测中，目前绝大多数研究 的对象是静态水果个体；而分级作业中，生产线上 采集的图像是水果动态图像序列，许多静态图像的 算法不能适应动态图像序列的特征提取。
3. 在水果图像采集过程中，如何全方位采集 到水果整个表面的信息，需进一步研究，包括水果 输送及翻转机构、光箱及位置、釆样协调关系等期 待新的设计。在水果图像采集数量上，由单果图像 采集过渡到多果群体图像的采集。
4. 数字图像处理算法不多，精度不高，要产

生新的泛化能力强、精度高、计算量少、速度快的 算法，并由单个水果图像单指标的串行算法过渡到 多个水果多指标并行算法。 "

1. 水果内部品质也是分级的重要指标’国内 在这方面的研究才起步，形成内外品质相结合的既 有外观指标评定又有内部糖度、酸度等成熟度指标 判别的综合分级技术’但实现内外品质分级一体化 还有一段距离，这将是以后的研究方向。
2. 在水果分级设备方面，开发有广谱适应性 和专用性的分级设备，并集成水果采后处理及包装 工序，形成分级机标准化、系列化产品。.

参考文献：

1. 农业部.2006年水果市场形势分析[EB/0L1.2007- 02-09, http://www, agri. gov. cn/xxfb/120070209 -772247.htm.
2. 张方明，应义斌,水果分级机器人关键技术的研究 和发展[J]-机器人技术与应用,2004,91 (1) :33- 37.
3. 赵启明.水果分级保鲜处理成套设备[J].农产品加

■ ,2003,14(8):35-36.

1. Wen Z,Tao Y.Dual-camera NIR/MIR imaging for stem一end/calyx identification in apple defect sortingtJ], Transaction of ASAE,2000, 43 (2): 446-452.
2. 葛云涛，朱 平.2006年参展“美国机器视觉展” 有感[J] ,电子元器件应用,2006(8) : 1526.
3. Davenel A, Guizard C H. Automatic Detection of Surface Defection Fruit by using a Vision System[J].Journal of Agricultural Engineering Research,1988, 41:1-9.
4. 应义斌.水果尺寸和面祯的机器视觉检测方法研究 [J],浙江大学学报，2000, 26(3) :229-232.
5. 冯斌，汪懋华.基于计算机视觉的水果大小检测 方法[J].农业机械学报，2003, 34(1):73-花.

〔9】 饶秀勤，应义斌，基于机器视觉的水果尺寸检测误 差分析[J].农业工程学报，2003,19(1):121-123.

1. 应义斌，成 芳，马俊福.基于最小矩形法的柑桔

横寇实时检测方法[J].生物数学学毯，2004,19 (3):352-356. .

1. 章程辉，刘木华，韩东海.红毛丹外形尺寸的图像 处理技术研究[JL江西农业大学学报，2006,28 ⑵:300-303.
2. Pavlids T. Algorithms for graphics and image processing[M].Rockville, Md:Computer Science Press,1982,
3. Varghese Z, C T Morrow, P H Heinemann. Automated Inspection of Golden Delicions Apples using Color Computer Vision[C]//ASAE Paper, 1991:91-7002.

) ■

1. Ding K» Gunasekaran S. Shape feature extrac-

V -

tion and classification of food material using computer vision[J],Transet ions of the

ASAE.1994,37(5):1537-1545,

[15J Heinemann PH, H J Sormner, C T Morro 旳 el a.L Machine vision based station for grading of Golden Delicious apples [C]//Proceedings of the FPAC IV Conference^1995:239-248*

1. Leemans V. Apple Shape Inspection with Computer Vision[C]//Proceedings of the FPAC IV Conference, 1995:316-327.
2. Ingrid Paulus, Eddie Schrevens. Shape characterization of new apple cultivars by fourier expansion of digitized images LJ]. Journal of Agri cultural Engineering Research,1999^ 72 (2) :11'3-118.
3. 应义斌.水果形状的傅里叶描述子研究[J].生物 数学学报,2001, 16(2) ：234-240,
4. 赵 静,何东健.果实形状的计算机识别方法研究 [J].农业工程学报, 2001, 17⑵：165-167
5. 沈明霞，姬长英,李秀智.基于遗传BP神经网络的 苹果形状识别[JL粮油加工与食品机械，2003,

.306(12):64-66.

1. 高 华，王雅琴.基于计算机视覚的农产品形状分

级研究〔J].计算机工程与应用,2004,40(14): 227-229. .

122]林开颜,•吴军辉，徐立鸿.基于计算机视觉技术的 水果形状分级方法口].农业机械学报，2005,36 (6):71-74,

1. 黄星奕，魏海丽，赵杰文.实时在线检测苹果果形 的一种计算方法[J].食品与机械,2006,22(1): 27-29.
2. Tao Y, Heinemann P H, Varghese Z, et al. Machine vision for color inspection of potatoes and apples[J].Trans of the ASAE, 1995,38(5): 1555-1561.
3. Kazuhiro Nakano, Application of neural networks to the color grading of apples [J]. Compu ters and Electronics in Agricultu re, 19-97, 18 (2):105-116.
4. 李庆中，张 漫，汪懋华.基于遗传神经网络的苹 果颜色实时分级方法[J].中国图象图形学报， 2000,5(9):779-784.
5. 冯 斌，汪懋华.基于颜色分形的水果计算机视觉

分级技术口].农业工程学报,2002, 18(2) : 141144. 、

1. .应义斌，付 峰，水果品质机器遡觉检测中的图像 颜色变换模型[JL农业机械学报，2004, 35(1): 85-89.
2. 章文英，应义斌,苹果作色面积的计算机视觉研究 [JL 衣机化研究,2005(4)! 90-92.
3. 谢志勇，张铁中.基于RGB彩色模型的草莓图像色 周分割算法[JL中国农业大学学报,2006,11 (1): 84-86.
4. Rehkugler G E, Throop J A. Apple sorting with machine vision[j].Transactions of the ASAE, 1985,29(5) : 1388-1395.
5. Yang Q. An approach to apple surface feature detection by machine vision['J]. Coraputers and Electronics in Agriculture, 1994,11 (22) : 249 -264
6. Yang Q, Machant J A. Accurate blemish detection with active color models [,J] < Computers and Electronics in Agriculture, 1995,10(14): 77-89.
7. Leemans V, M agein H, Destain. M F. Defects segmentation on "Golden Delicious" app1e by using color machine vision[Jj. Computers and Electronics in Agriculture,1998, 13(20): 117-130.
8. Tao Y. Spherical transform of fruit images for on-line defect extraction of mass object [J],Optical Engineerng,1996, 35(2):344-350.
9. Tao Y. Closed-loop search method for on-line automatic calibrations of multi-camera irjsp-

-ection systems[J], Transactions of the ASAE, 1998, 41 (5):1549-1555.

1. Tao Y, Wen. Z. Adaptive spherical image transform for high-speed fruit defect detetion IJ].

Transactions of the ASAE,1999,42(1):241- 246.

138]应义斌，景寒松，马俊福，等.机器视觉技术在黄花 梨尺寸和果面缺陷检测中的应用[J].农业工程学 报,1999, 15(1) :197-200,

1. 李庆中，汪懋华.基于分形特征的水果缺陷快速识 别方法CJL中国图像图形学报,2000,5(2) : 144 -148.
2. 何东健，耿 楠，党革荣，等.用活动边界模型精确 检测果实表面缺陷[JL农业工程学报，2001,17 ⑸ H59-162.

[41J冯斌，汪懋华.计算机视觉技术识别水果缺陷的 一种新方法[J].中国农业大学学报，2002, 40 ⑺；7.3-76.

[42]刘 禾，汪懋华.基于数字图像处理的苹果表面缺 陷分类方法[JL农业工程学报，2004,20 (6):