近期阅读Thoma Erl的《大数据导论》这本书,随手读书笔记。
(一)概念与术语
1. 大数据:对大量的、频繁产生于不同信息源的数据进行存储、处理和分析的学科。
2. 数据集:一组或一个集合相关联的数据,拥有相同的特征和属性。
3. 数据分析:为了做出更好的决策,通过数据处理,从数据中发现一些深层知识、模式、关系或是趋势的过程。
4. 数据分析学:对整个数据周期的管理。
5. 大数据分析结果分为四类:
(1)描述性分析(发生了什么):广泛的、精确的实时数据,有效的可视化;
(2)诊断性分析(为什么会发生):能够钻取到数据的核心,对混乱的信息进行分离;
(3)预测性分析(可能会发生什么):使用算法确保历史模型能够用于预测待定的结果,使用算法和技术确保自动生成决定;
(4)策略性分析(prescriptive analytics,应采取什么措施):依据测试结果来选定最佳行为与策略,应用先进的分析技术帮助做出决策。
6.商务智能:分析有业务过程和信息系统生成的数据,获取企业绩效的内在认识。
7. KPI:一次业务过程是否成功的度量标准。
(二)大数据特征(6V)
数据量(volume),速度(velocity),多样性(variety),准确性(veracity),连通性(valence)和价值(value)。
其中连通性是指数据的连接性,即连接的数据项与可能连接的总数的分数。当两个数据相关的时候,则称这两个数据相互连接。而连接性会随着时间越来越大,导致数据关系越来越复杂,于是群体事件预测、关系变化的建模与预测等等也会越来越复杂。
(三)数据类型
1. 结构化数据:固定的格式,存储于关系型数据库,如表格。
2. 非结构化数据:没有统一的数据模式,可存储于关系型数据可或非关系型数据库,如视频数据、音频数据、图像数据。
3. 半结构化数据:介于上述两类数据之间,如XML数据、JSON数据、传感器数据。
4. 元数据:由机器生成并且可以添加到数据集中,提供了数据系谱信息以及数据处理的起源。分为三种类型:
(1)结构性元数据;与事物构成有关的元数据。
(2)管理性元数据;与事物处理方式有关的元数据。
(3) 描述性元数据;与事物本质有关的元数据。
学习问题汇总:
Question1:数据分析学与数据分析的区别?
答:数据分析学是方法论,数据分析是方法,数据分析学涵盖数据分析。
Question2:OLAP与OLTP的区别?
Question3:drill-down 与roll-up的意思?
答:drill-down是指进一步精确某一变量,roll-up是指精简变量。
Question4:数据库与数据仓库的区别?
答:数据库是指传统的关系型数据库的主要应用,主要是基本的、日常的事务处理,例如银行交易;数据仓库系统的主要应用主要是OLAP,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。
Question5:元数据的用途?
答:举几个简单的例子:
使用过数码相机同学都应该知道,每张数码照片都会存在一个EXIF信息。它就是一种用来描述数码图片的元数据。 根据EXIF标准,这些元数据包括:Image Description(图像描述、来源,指生成图像的工具 )、Artist(作者)、Make( 生产者)、Model (型号)等等。
生活中我们填写的《个人信息登记表》,包括姓名、性别、民族、政治面貌、一寸照片、学历、职称等等这些就是锁定某个人的元数据。