作者:禅与计算机程序设计艺术
文章目录
1.简介
随着互联网的普及、信息化的发展、移动互联网的快速发展以及IT设备数量的扩大、云计算平台的发展,新一代的信息技术已经成为我们生活的中心。而在这个新时代,数据的产生、收集、存储、分析、挖掘和应用已经成为一种必然现象。那么,什么是大数据?如何对大数据进行分类、处理、分析以及运用?在大数据时代,如何让数据成为力量?因此,大数据和智能数据应用架构一直是企业关心的话题。本教程将通过系列案例详解大数据概述、主要概念、算法原理、操作步骤以及实际案例。希望能够帮您对“大数据”有更深入的了解,并有针对性地进行业务分析。
2.什么是大数据
2.1 定义
“大数据”的英文名称“big data”由两部分组成:数据(data)和高速(fast)。也就是说,“大数据”就是指在过去的一段时间内生成、储存、管理、分析的数据,这些数据数量巨大、数据类型多样、数据价值丰富,而且产生速度极快。“大数据”是数据科学、机器学习等新兴学科所研究的问题。“大数据”产生的背景主要包括以下几点:
- 大规模:由于数据集的大小越来越大,单个计算机的运算能力不能完全支持其处理。为了解决这一问题,云计算、分布式系统、NoSQL数据库