数据整理——大数据治理的关键技术

数据整理——大数据治理的关键技术

作者：杜小勇，陈跃国，范举，卢卫（中国人民大学信息学院）
期刊：大数据
时间：2019.05.15
引用格式：杜小勇,陈跃国,范举,卢卫.数据整理——大数据治理的关键技术[J].大数据,2019,5(03):13-22.

摘要：数据是政府、企业和机构的重要资源。数据治理关注数据资源有效利用的众多方面,如数据资产确权、数据管理、数据开放共享、数据隐私保护等。从数据管理的角度,探讨了数据治理中的一项关键技术:数据整理。介绍了以数据拥有者和直接使用者(行业用户)为核心的数据整理的关键技术,包括数据结构化处理、数据质量评估及数据清洗、数据规范化、数据融合与摘取、数据整理的发布共享等。最后,针对加强数据整理方面的研究提出了一些思考。
关键词：数据整理；数据准备；数据治理；数据管理

文章结构及内容图

参考文献：
中国图书全文数据库 共1条
[5]数据集成与应用集成[M]. 中国水利水电出版社 , 宋晓宇等, 2008

外文题录数据库 共10条
[10] Don’t be SCAREd Use scalable automatic repairing with maximal likelihood and bounded changes. YAKOUT M,BERTI-EQUILLE L,ELMAGARMID A K. 2013 ACM SIGMOD International Conference on Management of Data . 2013
[11] HoloClean:Holistic data repairs with probabilistic inference. REKATSINAS T,CHU X,ILYAS I F,et al. ProceedingsoftheVLDBEndowment . 2017
[1] Self-servicedatapreparation:researchto practice. HELLERSTEIN J M,HEER J,KANDEL S. IEEE Transactions on Knowledge and Data Engineering . 2018
[2] Data wrangling. HEER J,HELLERSTEIN J M,KANDEL S. Encyclopedia of big data technologies . 2019
[3] Crowdsourced data management:overview and challenges. L IGL,Z H E N GYD,FA NJ,e ta l. The 2017 ACM International Conference on Management of Data . 2017
[4] Toward a system building agenda for data integration. DOAN A H,ARDALAN A,BALLARD JR,et al. IEEE Transactions on Knowledge and Data Engineering . 2018
[6] Detecting data errors:where are we and what needs to be done. ABEDJAN Z,CHU X,DENG D, et al. Proceedings of the VLDB Endowment . 2016
[7] Conditional functional dependencies fordat acleaning. Philip Bohannon,Wenfei Fan,Floris Geerts, ,et al. 2007IEEE23rd International Conference on Data Engineering . 2007
[8] Holistic data cleaning:puttin gviolations in tocontext. CHU X,ILYAS I F,PAPOT TI P. 2013IEEE29th International Conference on Data Engineering (ICDE) . 2013
[9] KATAR A:adatacleaning system power edbyknowledge bases and crowd sourcing. CHUX,MORCO SJ,I LYA SIF,et al. The2015ACMSIGMOD International Conference on Management of Data . 2015