【大数据技术基础】 课程 第1章 大数据技术概述 大数据基础编程、实验和案例教程（第2版）

第1章 大数据技术概述

1.1 大数据时代

        这本书的标题是《大数据时代》，副标题为“生活、工作与思维的大变革”。这本书由维克托·迈尔-舍恩伯格（Viktor Mayer-Schönberger）和肯尼斯·库克耶（Kenneth Cukier）合著，由浙江人民出版社发行。这本书深入探讨了大数据如何改变我们的生活和工作方式，以及它对我们的思维方式带来的影响。书中讨论了大数据的潜力和挑战，以及如何在各个领域中利用大数据来获得洞察力和价值。这本书对于理解大数据的概念、应用和影响非常有帮助。

1.2 大数据关键技术

大数据技术的不同层面及其功能

技术层面	功能
数据采集	利用ETL工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析
数据存储和管理	利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理