DIKW模型与数据工程(了解)

13人阅读 评论(0) 收藏 举报
分类:

DIKW 体系

DIKW体系是关于数据、信息、知识及智慧的体系,可以追溯至托马斯·斯特尔那斯·艾略特所写的诗--《岩石》。在首段,他写道:“我们在哪里丢失了知识中的智慧?又在哪里丢失了信息中的知识?”(Where is the wisdom we have lost in knowledge? / Where is the knowledge we have lost in information?)。

1982年12月,美国教育家哈蓝·克利夫兰引用艾略特的这些诗句在其出版的《未来主义者》一书提出了“信息即资源”(Information as a Resource)的主张。

1989,管理思想家罗素·艾科夫进一步对此理论发扬光大,撰写了《从数据到智慧》(“From Data to Wisdom”,Human Systems Management)。


数据工程领域中的DIKW体系

D:Data (数据),是 DIKW 体系中最低级的材料,一般指原始数据,包含(或不包含)有用的信息。
I:Information (信息),作为一个概念,信息有着多种多样的含义。在数据工程里,表示由数据工程师(使用相关工具)或者 数据科学家(使用数学方法),按照某种特定规则,对原始数据进行整合提取后,找出来的更高层数据(具体数据)。
K:Knowledge (知识),是对某个主题的确定认识,并且这些认识拥有潜在的能力为特定目的而使用。在数据工程里,表示对信息进行针对性的实用化,让提取的信息可以用于商业应用或学术研究。
W:Wisdom (智慧),表示对知识进行独立的思考分析,得出的某些结论。在数据工程里,工程师和科学家做了大量的工作用计算机程序尽可能多地提取了价值(I/K),然而真正要从数据中洞察出更高的价值,甚至能够对未来的情况进行预测,则需要数据分析师。

数据工程 领域职业划分:

数据工程是一整套对数据(D)进行采集、处理、提取价值(变为 I 或 K)的过程。

首先介绍一下相关的几种角色: Data Engineer(数据工程师), Data Scientist(数据科学家), Data Analyst(数据分析师)。 这三个角色任务重叠性高,要求合作密切,但各负责的领域稍有不同。大部分公司里的这些角色都会根据每个人本身的技能长短而身兼数职, 所以有时候比较难以区分:

  • 数据工程师: 分析数据少不了需要运用计算机和各种工具自动化数据处理的过程, 包括数据格式转换, 储存, 更新, 查询。 数据工程师的工作就是开发工具完成自动化的过程, 属于 基础设施/工具(Infrastructure/Tools)层。

    但是这个角色出现的频率不多 ,因为有现成的MySQL, Oracle等数据库技术, 很多大公司只需要DBA就足够了。而 Hadoop, MongoDB 等 NoSQL 技术的开源, 更是使在大数据的场景下都没有太多 数据工程师 的事,一般都是交给 数据科学家 。


  • 数据科学家: 数据科学家是与数学相结合的中间角色, 需要用数学方法处理原始数据找出肉眼看不到的更高层数据,一般是运用机器学习或者深度学习,挖掘出更高层的数据。


  • 数据分析师: 数据工程师和数据科学家做了大量的工作,用计算机程序尽可能多地提取了价值(I/K),然而真正要从数据中洞察出更高的价值, 则需要依靠丰富的行业经验和洞察力, 这些都需要人力的干预。

    Data Analyst 需要的是对所在业务有深刻了解, 能熟练运用手上的工具(无论是 Excel, SPSS也好, Python/R也好,工程师给你开发的工具也好,必要时还要能开发自己需要的工具),有针对性地对数据作分析,并且需要把发现的成果向其他职能部门呈现出来,最终变为行动,这就是把数据最终得出 Wisdom


关注【Python开发者交流平台】公众号 ,在微信后台回复【领取资源】,获取IT资源200G干货大全。

查看评论

Android工程和Maven工程持续构建

-
  • 1970年01月01日 08:00

对于DIKW体系(模型)的理解

DIKW: data, Information ,knowledge,wisdom data:可以是数字、文字、图像、符号等 information: 通过一些方式将数据进过组织和处理,数...
  • Eric_Sun_
  • Eric_Sun_
  • 2017-09-10 22:52:03
  • 673

DIKW模型

在信息管理、信息系统和知识管理学科中,最基本的模型是DIKW(data, information, knowledge, wisdom)层次模型。                        ...
  • gdp12315
  • gdp12315
  • 2015-06-01 16:49:26
  • 2790

DIKW模型(数据-信息-知识-智慧)

随着人类社会从工业经济时代进入知识经济时代,知识管理的出现为21世纪知识经济时代的企业组织提供必须的管理基础。以彼得.德鲁克博士(Peter F. Drucker)和斯威比博士为代表提出的理论为知识管...
  • cxzhq2002
  • cxzhq2002
  • 2014-03-10 22:30:29
  • 944

开展人工智商测试,应首先建立统一人和机器的标准智能模型

本文是举办2015-2016年世界人工智能系统智商测试排名活动的第三篇文章。重点阐述了如何建立一个模型统一概括人,生命体,机器人,人工智能系统的特征,本文对这个标准智能模型的来源和特征进行了描述。...
  • zkyliufeng
  • zkyliufeng
  • 2015-12-23 17:25:53
  • 1175

DIKW体系

source: https://zh.wikipedia.org/wiki/DIKW%E4%BD%93%E7%B3%BB DIKW体系[编辑] 维基百科,自由的百科全书 ...
  • BalterNotz
  • BalterNotz
  • 2017-03-21 16:51:11
  • 305

大数据,小数据,哪道才是你的菜?

很多人将大数据夸得“如花似玉”,在这个与小数据渐行渐远的时代,今天我们也聊聊小数据之美。为什么呢?主要是:大有大的好,小有小的妙,如同一桌菜,哪道才是你的爱?思量三番再下筷。...
  • yhily2008
  • yhily2008
  • 2015-08-17 17:32:34
  • 1999

Data-Information-Knowledge-Wisdom Pyramid

The DIKW pyramid, also known variously as the DIKW hierarchy, wisdom hierarchy, knowledge hierarchy,...
  • startzgf168
  • startzgf168
  • 2017-06-01 21:41:20
  • 323

NO.1食品超市经营管理的数据方案

丸悦公司作为日本首都圈NO.1的食品超市连锁店,以东京为中心开设有270家店铺。在中国,丸悦与中国零售业巨头苏宁云商组建合资公司,将丸悦在日本积累了约70年的专业知识和经验与苏宁云商急速成长扩大的经验...
  • hualalalalali
  • hualalalalali
  • 2017-07-05 13:44:39
  • 720

数据结构与算法学习笔记--计算模型

数据结构与算法学习笔记–计算模型**数据结构 + 算法 = 计算,而计算是在我们实际应用中处处需要考虑的地方,为了衡量一个算法或者数据结构的好坏,我们必须引入一个度量来判断一个算法的优劣。To mea...
  • robertcalm
  • robertcalm
  • 2016-12-12 23:58:14
  • 676
    个人资料
    持之以恒
    等级:
    访问量: 1万+
    积分: 1666
    排名: 3万+
    博客专栏
    文章存档
    最新评论