点击上方蓝字关注我们
食品安全大数据可视化关联分析
陈谊, 孙梦, 武彩霞, 孙小然
北京工商大学计算机学院食品安全大数据技术北京市重点实验室,北京 100048
摘要:随着检测技术的提高和互联网技术的广泛应用,食品安全数据的规模不断增大、类型不断增多,对数据分析技术提出了极大挑战。近年来出现的可视分析技术,通过提供图形交互界面,帮助领域人员深入理解数据并洞悉数据中的隐含规律,提高对食品安全风险的分析、发现、预警和溯源能力,为食品安全监测和管控提供了新手段。首先分析了食品安全数据的主要来源、特征和分析任务;然后提出了一种关联可视分析技术分类方法,从属性关联、实体关联、对比分析和时空分析4个方面阐述了近10年来的食品安全大数据可视化关联分析方法;最后提出了该领域存在的问题和挑战。
关键词:可视分析 ; 大数据 ; 食品安全 ; 关联关系
论文引用格式:
陈谊, 孙梦, 武彩霞, 等. 食品安全大数据可视化关联分析[J]. 大数据, 2021, 7(2): 61-77.
CHEN Y, SUN M, WU C X, et al. Visual associations analysis of big data in food safety[J]. Big Data Research, 2021, 7(2): 61-77.
1 引言
食品安全关系到人们的身体健康和生命安全,受到世界各国的广泛关注。食品安全问题主要包括病原微生物污染、农药兽药残留、重金属和真菌毒素污染、食品添加剂的非法和掺杂使用,是一个非常复杂的问题,涉及从种植养殖、生产加工、运输贮藏到餐桌消费的全过程,为此各国政府部门均加强了对从农田到餐桌全链条的食品安全监测和管控,进而产生了大量的食品安全数据。这些数据涉及食品的种类、营养、污染物、时间、地域等多维度信息,具有多维、时空、层次、关联等特征,对这些数据的关联分析是食品安全领域的重要分析任务,包括属性关联、实体关联、对比分析和时空分析。随着检测技术的进步和物联网技术的应用 ,食品安全数据的数量、类型不断增多,产生的速度不断加快,开始呈现出大数据的特征。这一方面为基于数据驱动的食品安全风险分析提供了丰富的数据资源,另一方面也对数据分析技术提出了极大的挑战。
2 食品安全数据的来源、特征与关联分析任务
2.1 数据来源
食品安全数据来源广泛,主要包括如下几个方面。
● 各类食品安全检测仪器的检测结果。这些检测仪器可以是:用于检测农药残留的色谱-质谱仪、用于监测食品质量的射频识别(radio frequency identification,RFID)传感器和视频设备、用于快速检测食品安全的移动设备(如手机)等。
● 与食品安全相关的标准文件。如食品中各种危害物(农药残留、重金属、致病菌等)的限量标准、检测方法标准、食品中营养成分的限量标准等。
● 互联网数据。如新闻、微博、Twitter等社交媒体上的相关评论等。
● 在线数据库。各国食品安全管理部门或组织都会在线发布数据,这些数据包含与食品安全相关的信息,如各国的相关标准、食品中污染物的抽检结果和分析报告、出入境检验检疫不合格食品信息、食品消费数据、风险预警信息等。
表1给出了几个国内外典型的食品安全在线数据库。GEMS/Food(global environment monitoring systemfood contamination monitoring and assessment programme)是全球环境监测/食品污染监测和评估系统,它由世界卫生组织(World Health Organization, WHO)发布,包含世界多个区域的食品污染物监测数据;RASFF(rapid alert system for food and feed)是欧盟食品和饲料类快速预警系统,是现在由欧洲联盟委员会(European Commission, EC)公开的经常使用的食品安全在线数据库,该系统可以按照通知、通知类别、危害物、日期、产品、关键字等进行数据筛选。EFSA-Data是由欧洲食品安全局(European Food Safety Authority, EFSA)发布的欧盟地区食品安全数据收集和分析结果,其中包含食品消费、食品成分、生物危害、化学危害、化学污染物、化学残留物、植物学纲要和标准化数据等相关数据,风险评估者可使用该数据集计算出消费者对某种危害的暴露程度,监控食品安全计划的有效性。美国食品药品监督管理局(Food and Drug Administration,FDA)发布了一些数据库,如农药残留监测计划报告和数据、F DA监管产品召回的信息等。中国食品安全国家标准和食品安全抽检结果由国家市场监督管理总局(State Administration for Market Regulation,SAMR )发布,包含我国各污染物的限量标准、抽检结果全部合格和不合格产品信息的食品名称和抽检次数等。对于进出口食品安全数据,如各国有关标准和未准入境食品信息由中国海关总署(General Administration of Customs of the People’s Republic of China,GACC)发布。此外,中国还有一些食品安全数据集是由商业组织提供的,例如食品伙伴网的专业食品安全数据库,包含安全性指标、食品抽检信息、化学污染、微生物、进出口信息、认证信息、营养数据等。上述数据库大多为用户提