大数据导论

大数据导论

大数据概念

大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要更新处理模式才能处理的海量信息资产。

 最小的基本单位是bit，按照顺序给出所有单位：bit byte KB MB GB TB PB EB ZB YB BB NB DB
 
 进制都是1024
 
 1Byte = 8bit 1K = 1024B ... 1D = 1024N 

1986年，全球的数据只有0.02EB，到了2007年，全球的数据有280EB，现在平均每40个月，数据量就会翻倍，预计到2025年，全球会有163ZB的数据量 

大数据的特点

• Volume（大量）

当前典型计算机的硬盘容量为TB级别，一些大企业的数据的量级已经接近EB级别

• Velocity（高速）

 这是大数据区分于传统数据挖掘的最显著的特征.在海量的数据面前，处理数据的效率就是企业的生命

• Variety（多样）

这种类型的多样性也让数据分为结构话数据和非结构化数据.相对于以往便于存储的结构话数据,非结构化的数据越来越多，包括网络日志、音频、视频、图片、地理信息等，这些对数据的处理能力提出了更高的要求

• Value（低价值密度）

比如给你提供了一天的监控视频，对你来说有价值的只有一分钟，如何快速对有价值的数据进行提纯，成为目前大数据背景下面待解决的问题

大数据的发展前景

• 大数据是国家战略
• 未来3到5年人才缺口将达到150W

企业数据部的业务流程分析

业务人员提需求（统计用户访问数、用户下单数、用户支付数等） -》 数据部门分析 -》 数据展示（报表平台组、发邮件excel等）