李俊清,宋长青,周虎
山东农业大学农业大数据研究中心,山东 泰安 271018
摘要:农业大数据资产管理是发展农业农村大数据的前提,结合农业领域和大数据领域的热门议题,对农业大数据资产管理进行了相关研究。对农业大数据资产的概念进行了定义,从数据资源和服务价值角度分析了农业大数据资产的特性;分析了农业大数据资产的现状,并从存储、质量、价值、安全、开放和人才培养等方面探讨了农业大数据资产管理面临的挑战;最后,对农业大数据资产管理提出了思考和建议。
关键词:农业大数据;资产管理;农业农村
中图分类号:[S- 9] 文献标识码:A
doi: 10.11959/j.issn.2096-0271. 2016004
Challenge and thinking of agricultural big data assets management
LI Junqing, SONG Changqing, ZHOU Hu
Agricultural Big Data Research Center, Shandong Agricultural University, Taian 271018, China
Abstract: Agricultural big data assets management is the prerequisite of developing big data of agriculture and countryside. Combined the knowledge of agricultural fields and the hot topics in big data industry, agricultural big data assets management was discussed. Furthermore, definitions and descriptions of the concepts were defined, and some features of agricultural big data assets were analyzed from the view of service value. Next, the facing challenge of agricultural big data assets management was discussed from the aspects of storage, quality, value, safety, open and personnel training. The present situation of agricultural big data assets was analyzed. At the end, some thinking and suggestions were proposed for agricultural big data assets management.
Key words: agricultural big data, assets management, agriculture and countryside
1 引言
国务院发布的《促进大数据发展行动纲要》中提到发展农业农村大数据涉及:构建面向农业农村的综合信息服务体系、加强农业农村经济大数据建设、统筹国内国际农业数据资源、整合构建国家涉农大数据中心、加快农业大数据关键技术研发等。笔者认为,农业大数据资产管理和盘点是发展农业农村大数据的前提。“农业大数据”和“数据资产”概念已经广为人知,但是“农业大数据资产”、“农业数据资产如何管理”等问题的研究鲜有涉及。农业大数据资产的数量和质量直接影响着利用数据推进农业农村提质增效、 转型升级等方面的进程,对农业大数据资产的研究和探讨有着重要意义。
2 农业大数据资产概念及特征
2.1 农业大数据资产概念
什么是资产?财政部关于修改《企业会计准则——基本准则》的决定(中华人民共和国财政部令第76号)中明确指出:资产是指企业过去的交易或者事项形成的、由企业拥有或者控制的、预期会给企业带来经济利益的资源。
什么是农业大数据资产?笔者认为:农业大数据资产是拥有权或控制权明确,预期能为农业及其相关领域提供服务或为之带来经济利益的全样本(或多样本)的历史(或基于历史衍生)的数据资源。
2.2 农业大数据资产特征
农业大数据资产除了具有资产的一般特征(即:由过去事项发生、拥有权或控制权明确、预期带来经济利益)之外,还具有其独有特征,具体介绍如下。
2.2.1 农业大数据资产是数据资源
(1)农业大数据资产的具体形态是数据
农业大数据资产具体形态表现为以物理或电子方式记录的数据。如:工作记录、数据库数据、数据表单、操作和统计数据、系统开发过程中的源代码及配置文件等。
(2)农业大数据资产来源于农业及其相关领域
农业大数据资产是农业及其相关领域所产生的数据资源,是历史的或基于历史衍生的数据资源,即:数据范围可以是历史实际产生的数据,也可以是基于历史实际数据整合、衍生出来的有价值的数据。
(3)农业大数据资产具有大数据的特征
农业大数据资产从总体上看是全样本(或多样本)数据资源,具有数据体量大、数据类型繁多、价值密度低、处理数据快等特征。
2.2.2 农业大数据资产预期能为农业及其相关领域提供服务
农业大数据资产的价值不局限于可以带来经济利益,其另一个重要的价值是:预期能为农业及其相关领域提供数据支撑和服务。主要体现在4个方面:一是管理指导,如为农业(广义农业)生产的产前、产中、产后提供全程数据支撑和指导等;二是服务决策,如为政府决策提供参考、咨询和指导服务,为企业生产、转型、市场营销提供咨询等;三是追溯历史,如根据历史数据建立猪肉流通追溯体系等;四是预测未来,如帮助用户预测农产品的未来需求量等。
3 农业大数据资产现状
当前农业领域存在诸多问题需要数据支撑和解决,如粮食安全、土壤治理、病虫害预测与防治、动植物育种、农业结构调整、农产品价格、农副产品消费、城镇建设等领域。农业大数据资产是农业大数据发展的基础。从政府到地方都需要利用农业大数据来解决实际问题,助力农业领域提质增效、转型升级。由于对农业大数据资产的认识不够和管理水平不足,当前农业大数据资产的现状不容乐观。下面从不同角度分析农业大数据资产的现状。
3.1 农业大数据资产数量
农业领域是传统的领域,有着悠久的历史,积累了海量的数据。大部分数据对农业及其相关领域未来发展有着重要意义,属于农业大数据资产。农业大数据资产时间跨度长,获取方式多样,分布范围广,数量巨大。
农业大数据资产增长迅速,获取方式总体上可分为:传统的数据获取方式和现代化设备获取方式。传统的获取方式包括:人工采集、涉农企业生产、政府收集等。其中,人工采集主要针对设备难以采集的数据,比如,大田土壤成分、苗情、施肥等数据;涉农企业数据包括:产前、产中、产后的生产和流通数据;政府收集数据主要包括对农业的管理和统计数据。现代化设备获取方式包括:物联网采集、遥感采集、网络数据获取等。其中,物联网和遥感采集是通过实时采集、传输农业生产环境的监控数据;网络数据获取是对农业网站上有价值的数据进行下载或爬取。
农业大数据资产主要分布在政府部门、涉农企业和合作社、农业高校和科研机构、农业网站等。其中,政府部门涉及的内容包括农、林、牧、副、渔等农业传统领域相关的管理决策数据;涉农企业和合作社涉及的数据包括农、林、牧、副、渔等生产数据和行业管理、经营数据;农业高校和科研机构涉及的数据包括研究农、林、牧、副、渔等生产原理和技术的数据;农业网站涉及的数据包括农产品价格数据、交易数据、气象数据、水文数据等。农业大数据资产孤岛现象严重,散落在不同的省、市(县)、镇(乡)、村,不同的单位、不同的科室,不利于数据共享,数据的开放和整体利用难度大。
3.2 农业大数据资产质量
农业大数据资产质量不高,实际使用时困难重重。农业领域时时刻刻在产生大量的数据,但是对数据源头的重视普遍不够,没有统一的数据标准,缺乏准确、有效的数据提取技术或者数据的预处理方法。数据源头问题直接或间接导致数据很不规范、可用性差、数据质量差、数据不准确,甚至数据上报时统计口径上就出现很多不合理的情况。此外,还存在关键数据信息缺失、关联性差等问题。农业大数据资产质量问题直接导致农业大数据分析模型数量少、 精度低。
3.3 农业大数据资产价值
农业大数据刚刚兴起,农业领域专家对大数据接触不多,不了解农业大数据的应用场景和价值,因此难以对农业大数据资产的价值做出评估。但从总体上来看,政府部门、科研院所、涉农企业对农业大数据资产价值认识还不到位,对农业大数据资产价值重视不够,大量数据沉寂在数据库或资料库里,其价值难以体现。农业大数据资产评估价值手段缺失,使得其价值大打折扣,导致其应用场景受限;农业大数据资产共享和开放水平不足,制约其价值的发挥。
3.4 农业大数据资产安全
农业信息系统的用户与管理人员一般都不是计算机专业人员,而网络和服务器配置复杂且操作系统漏洞层出不穷,加上管理人员不能及时发现并安装系统补丁堵住漏洞,这就为木马病毒和黑客提供了入侵机会,导致农业大数据资产破坏和丢失。此外,由于内部管理机制不成熟,没有意识到农业大数据资产的价值,普遍对农业数据管理不严,甚至删除农业数据,导致农业大数据资产流失。
3.5 农业大数据资产服务
农业大数据资产服务是农业大数据产业发展的关键,目前农业大数据资产的服务能力不强。对内服务,单位内部各个系统处理采用的实施方案和技术存在差异,比如:数据库类型差异、存储介质不同、数据架构设计差异等,导致内部数据割裂;内部数据整合分析存在壁垒,甚至彼此访问都存在问题。对外服务,目前农业数据对外开放水平不高,从政府到地方,都还缺少数据开放的成熟方案和技术支撑;外部访问数据通道不通畅,单位之间数据交叉复用难度大,对外服务能力有待提高。笔者认为,农业大数据资产服务能力取决于对其共享和开放的水平。农业大数据资产开放有助于推动农业大数据基础设施统一建设;有助于更全面、更准确地指导农业生产,进行管理和经营决策,让农业大数据更好地为人民服务。农业大数据意识的提高和开放力度的加大,可以催生大量农业大数据相关的产业,带动“大众创业,万众创新”。只有农业大数据资产有效开放和共享,才能实现农业领域的数据共赢。
3.6 农业大数据资产管理
目前农业大数据资产的数量和质量远远不能满足当前的需求,导致农业领域真正在大数据中发现价值、预测规律、指导生产的成功案例很少。农业领域每天都有海量的数据产生,农业大数据历史跨度长、涉及领域广、分布零散且采集方式各异,这些数据亟需统筹管理,整合衍生更多的农业数据资产。农业大数据资产管理尚处于起步探索阶段,从事农业大数据管理的专业人才很少,农业大数据资产管理技术不足,再加上农业领域知识覆盖范围广、数据开放难度大,为农业大数据资产提出很大挑战。
4 农业大数据资产管理面临的挑战
利用农业大数据来解决实际问题,必须要对数据进行科学分析和论证,比如:用哪些农业数据来共同解决特定问题;现有数据是否能为解决该问题提供足够的数据支撑;可以在多大程度上解决该问题等。而对农业大数据资产管理和盘点是对农业数据进行科学分析和论证的前提。农业大数据资产现状严峻,需求紧迫,在其管理上亟需进行突破。农业大数据资产面临的挑战有很多方面。
4.1 农业大数据资产统筹存储
农业大数据资产数量大、种类多、存储方式不统一。随着现代农业信息的发展,农业数据增长的速度更快。农业大数据资产统筹存储超越了传统数据库的管理能力,是农业大数据资产管理面临的挑战之一。农业大数据资产统筹存储需要解决:如何选取数据存储方案,满足数据快速增长的速度;如何构建分布式的数据平台,并提供可扩展的数据存储接口;如何处理和存储不同结构的数据,比如:结构化数据、半结构化数据和非结构化数据的存储,纸质数据的处理和存储;如何打通各个子数据库的数据,保证数据同步链路畅通;如何对数据进行合理分类,便于数据归属和快速查找等现实问题。
4.2 农业大数据资产质量管理
农业大数据资产质量管理水平直接影响着农业大数据资产的可用性。从农业数据源头到数据服务整个链路中的数据质量把控和提升,是农业大数据资产管理面临的又一个挑战。农业大数据资产质量管理需要解决:如何制定数据源标准,如何增强农业数据采集的精度;如何在农业大数据资产流通链路中(比如在数据同步、清洗、整合、服务等各个环节)加强数据质量监控;如何对农业数据质量问题进行识别、度量、监控、预警;如何及时发现并解决农业数据生产过程中的数据质量问题;如何做到农业数据质量的自我修复等现实问题。
4.3 农业大数据资产价值提升
农业大数据资产数量巨大,但是对其价值的发现还很少,很多农业大数据资产闲置甚至流失。农业大数据资产价值提升是农业大数据资产管理面临的挑战之一,主要表现在:第一,要建立农业大数据资产价值评估体系。由于农业大数据资产量大、分布广、碎片化严重等特点,对于农业大数据资产价值评估,门槛高、难度大,需要大数据知识和农业领域知识深度交互,任重道远。第二,需要制定数据标准和规程。对农业数据资产流通的每个环节进行规范约定,特别是数据的一致性和可关联性,为数据交叉分析和复用做铺垫。第三,对农业大数据资产进行整合加工。经过整合加工,不仅能输出更多维度和粒度的数据,而且可以衍生更多有价值的数据资产,有助于提高农业大数据资产的价值。第四,农业大数据资产共享。通过数据的共享,实现数据的交叉复用,降低数据重复采集的成本,更全面地整合分析数据。
4.4 农业大数据资产安全隐私
农业大数据资产在未来将会是农业甚至国家重要的财富,农业大数据资产安全隐私也是农业大数据资产管理面临的挑战之一。农业大数据资产安全隐私需要在多个方面防护:一是数据本身的安全,主要是指采用现代密码算法对数据进行主动保护,如数据保密、数据完整性、双向强身份认证等;二是数据防护的安全,主要是采用现代信息存储手段对数据进行主动防护,如通过磁盘阵列、数据备份、异地容灾等手段保证数据的安全;三是关键信息过敏,对敏感信息通过脱敏规则进行数据变形,实现敏感隐私数据的可靠保护。
4.5 农业大数据资产开放服务
农业大数据资产的共享应用,不仅能促进农业领域的发展,也能为其相关产业带来收益。农业大数据资产开放服务也是农业大数据资产管理面临的挑战之一。农业数据资产开放服务的首要目标是提供易于发现、访问和理解的数据,并使用高价值、可以机读的数据接口,保障数据服务平台的可用性。在此基础上,做好面向农村、农业、农民的数据垂直服务;面向农产品市场、农业产业的数据预测服务;跨行业的农业内外部数据的管理、链接与整合服务等。农业大数据资产开放服务,需要在政策、理念、技术等方面共同努力。
4.6 农业大数据资产管理人才培养
农业大数据资产每个环节都依靠强大的技术支撑,需要有专业的农业大数据资产管理人员参与。农业大数据资产管理人才匮乏,严重阻碍农业大数据产业的发展。农业大数据资产管理人才的培养,是农业大数据资产管理面临的重要挑战。政府、高等农业院校、科研院所和大数据企业应当联合培养一批对数据敏感、掌握大数据管理技术和农业领域知识的复合型人才。
5 农业大数据资产管理的几点思考
大数据时代下,农业大数据资产将是国家未来的宝贵财富。农业大数据资产管理水平决定着农业大数据产业发展的成败,因此,农业大数据资产管理意义重大。以下是笔者对农业大数据资产管理的几点思考。
(1)在管理思路上区分“农业大数据”和“农业大数据资产”
很多学者和科研人员认为拥有农业大数据就是掌握农业大数据资产,其实不然。拥有农业大数据是农业大数据资产的前提,但不是所有农业大数据都能具备农业大数据资产的特征。一味地追求获取数据,会导致灾难性的后果。数据越多可能带来的问题越大,比如积累大量的错误数据、垃圾数据,不但达不到预期的结果,甚至会适得其反。这部分数据不能被有效利用,还会占据更多的存储空间,耗费不必要的计算能力,浪费稀缺的人力物力资源。因此,必须在管理思路上区分“农业大数据”和“农业大数据资产”。
(2)农业大数据资产管理科学规划
对农业大数据资产管理做科学的规划是必不可少的。基于农业大数据资产全局管理,通过数据、应用、系统综合管理,构建标准化、流程化、自动化、一体化的数据管理体系。确保数据架构合理、条理清晰、过程可控。根据科学规划和技术积累实现数据资源的条理化、脉络化,是农业大数据管理的重要基础。农业大数据资产管理体系核心在于有效解决对数据资产进行管理的实践性问题,既有助于合理管理、规范和整合农业大数据资产,又可以挖掘和发挥农业大数据资产价值并发现更多的应用场景。
(3)建立农业大数据资产管理标准体系
●建立农业大数据资产管理标准体系。建立、健全农业数据采集、入库、分析、开放的统一标准,探索并建立数据发布和数据服务的标准和机制。
●建立农业大数据资产指标规范。统一指标口径,对于同一指标在收集统计分析方面采用统一的口径和规范。
●合理划分农业大数据资产安全级别。考虑到农业大数据资产的开放和共享,必须在安全等级上对农业大数据资产进行合理的划分,采取不同的安全保障措施。
●建立农业大数据资产管理评审机制。农业大数据资产的健康发展,需要在农业大数据资产管理的规划、评估、审计、开放策略等方面建立健全的评审机制。
(4)建立农业大数据价值评估体系和交易机制
农业大数据资产的价值评估体系建立是对其进行管理的基础,是对其进行交换和交易的前提。目前,农业大数据资产价值评估体系缺失,笔者认为可以通过领域专家、数据拥有者和数据使用者共同根据数据资产的质量、成本、用途来确定农业大数据资产的价值。涉及数据交易方面,可通过第三方机构甚至是公共部门来对农业大数据资产的价值进行评估和定价。
农业大数据资产交易机制的建立,是当今迫切解决的问题。数据交易涉及的主体多,包括数据拥有者、数据采集者、数据中介、数据使用者等。农业大数据资产交易机制的建立有助于让农业大数据资产在各交易主体间顺利流通,包括:数据资产产权相关的拥有权、使用权、收益权、让渡权等。各交易主体间可通过一次性交付数据资产,也可以进行长期合作,根据合约分期交付数据资产。此外,还需要出台相应的法律法规,对交易过程进行有效监督,促使各交易主体履行约定,杜绝农业大数据资产被非法复制和使用。
(5)盘活农业大数据资产,建立数据回路
农业大数据资产的生命力在于数据盘活。如果农业大数据资产没有流动起来,就是一潭死水,难以发挥价值,也极有可能变成一种负资产。
笔者认为盘活农业大数据资产,必须打通数据获取、整合、应用和创新4个环节,形成数据回路(如图1所示)。数据获取是指保障数据获取的稳定性和标准化,为数据整合做铺垫;数据整合是指结合数据的特征和应用场景,保障数据质量,为数据应用做铺垫;数据应用是指利用数据解决实际问题,并发掘更广的数据应用前景,为数据创新做铺垫;数据创新是指创造性地解决更多的实际问题,产生更多有价值的数据,扩展农业数据资产获取来源。
图1 建立数据回路
(6)农业大数据资产管理创新
随着农业大数据资产的积累,需要更深入地管理农业大数据资产,如从全局层面分析这些数据的分类、分层是否合理;各种数据之间的依赖关系是什么;数据流是怎么流动的;数据整合的逻辑是否和之前的设计吻合,是否便于实际应用;监控模型设计,如何及时发现模型问题并修正等。数据的交换、转让、租赁、交易的出现要求新的管理模式,需要从管理思想和管理技术角度进行探索和创新,在管理流程、数据脱敏、加密、多方计算等方面下手,实现农业大数据资产的全面管理。
(7)建议加强农业大数据资产相关的法律和标准
农业大数据资产保护意识有待提高,农业大数据资产的管理和利用需要与有效的监管结合起来。但是,目前还缺少用于规范、界定数据资产主权的相关法律。当前急需加强数据资产开放和数据交易相关的立法和标准建设工作,建立公共基础数据资源的标准,完善数据资源采集、共享、利用、保密和交易等相关制度,完善农业大数据资产目录体系。
6 结束语
农业大农业大数据资产是利用数据助力于农业提质、转型升级增效的利器,农业大数据资产管理的水平决定着农业大数据产业的发展进程。当前提高农业大数据资产的意识,对农业大数据资产进行科学的管理盘活,才能为现代农业及其相关领域的快速发展做好坚实的数据支撑和服务。数据资产是利用数据助力于农业提质、转型升级增效的利器,农业大数据资产管理的水平决定着农业大数据产业的发展进程。当前提高农业大数据资产的意识,对农业大数据资产进行科学的管理盘活,才能为现代农业及其相关领域的快速发展做好坚实的数据支撑和服务。
参考文献:
[1] 国务院. 国务院关于印发促进大数据发展行动纲要的通知[R/OL].(2015-08-31)[2015-09-30]. http://www.sdpc.gov.cn/fzgggz/wzly/zcfg/201509/t20150930_753447.html.
The State Council. The notice on the issuance of the outline for action to promote the development of big data[R/OL]. (2015-08-31)[2015-09-30]. http://www.sdpc.gov.cn/fzgggz/wzly/zcfg/201509/t20150930_753447.html.
[2] 财政部. 中华人民共和国财政部令第76号[R/OL].(2015-07-23)[2015-07-29]. http://tfs.mof.gov.cn/zhengwuxinxi/caizhengbuling/201407/t20140729_1119494.html.
The Ministry of Finance. Decree No.76 of the ministry of finance of the people’s Republic of China[R/OL].(2015-07-23)[2015-07-29]. http://tfs.mof.gov.cn/zhengwuxinxi/caizhengbuling/201407/t20140729_1119494.html.
[3] 温孚江. 农业大数据与发展新机遇[J]. 中国农村科技, 2013(10): 14.
WEN F J. Agricultural big data and the new opportunities of development[J]. China Rural Science &Technology, 2013(10): 14.
[4] 宋长青, 高明秀, 周虎. 高等农业院校农业大数据研究现状及发展思路[J]. 中国农业教育, 2014(5): 16-20.
SONG C Q, GAO M X, ZHOU H. Review of agricultural big data research in agricultural universities[J]. China Agricultural Education, 2014(5):16-20.
[5] 温孚江. 农业大数据研究的战略意义与协同机制[J]. 高等农业教育, 2013(11):3-6.
WEN F J. The strategic and cooperative mechanism of agricultural big data research[J]. Higher Agricultural Education, 2013(11): 3-6.
[6] WANG Y J, YANG B, LUO Y, et al. The application of big data mining in risk warning for food safety[J]. Asian Agricultural Research, 2015(8): 83-86.
[7] ZHENG Y L, QI-YUN H E, QIAN P, et al. Construction of the ontology-based agricultural knowledge management system[J]. Journal of Integrative Agriculture, 2012, 11(5): 700-709.
[8] 周光强. 商业银行客户资产管理研究[D]. 武汉: 华中科技大学, 2004.
ZHOU G Q. The study of commercial banks’ customer equity management[D]. Wuhan: Huazhong University of Science and Technology, 2004.
[9] 华超杰. 聚沙成塔,百炼成钢——数据资产管理云图[EB/OL].[2015-08-12].http://www.haokoo.com/internet/7078284.html.
HUA C J. Many littles make a mickle, be toughened and hardened into steel--data asset management cloud chart[EB/OL]. [2015-08-12]. http://www.haokoo.com/internet/7078284.html.
[10] DONG X H, LI R X, HE H, et al. Secure sensitive data sharing on a big data platform[J]. Tsinghua Science and Technology, 2015(1): 72-80.
[11] 吴江. 数据交易机制初探——新制度经济学的视角[J]. 天津商业大学学报, 2015(3):3-8.
WU J. A preliminary study of the mechanism of data transaction: a view of new institutional economics[J]. Journal of Tianjin University of Commerce, 2015(3): 3-8.
李俊清(1984-),男,山东农业大学副教授,主要从事农业大数据采集、入库、平台建设以及农业大数据标准制定等研究工作。
宋长青(1963-),男,山东农业大学教授,农业大数据研究中心常务副主任,主要从事农业大数据采集、入库、平台建设、示范基地等研究与示范工作。
周虎(1972-),男,就职于山东农业大学农业大数据研究中心,主要从事农业大数据采集、入库等工作。