1.1
大数据的定义:
在一定时间范围内用常规软件工具进行捕捉 管理与处理数据集合。
经典案例:啤酒与尿布
谷歌与流感
大数据的范围:
采集、储存、搜索、共享、传输、分析和可视化
内存:运行速度
存储:储存容量
海量数据产生:来自大人群互联网
来自大量传感器机械
科学研究及行业多结构专业数据
1887-1890年:电功器
1944年:预见大数据
1997年:用大数据描述超级计算机产生的大量信息
2003-2006年:谷歌提出大数据可重用方案
2008年:提出大数据概念
2009年:大数据逐渐走进互联网
2012年:大数据成为一种新的资产类别
2013年:大数据元年
1ZB=10亿TB
各数剧量单位:KB>MB>GB>TB>PB>EB>ZB>YB>NB>DB
1位(二进制0或1)
1字节(8位)---一个英文字母或二进制8位数
1文字=2字节=16位
1.2第四范式
实验————理论————计算————数据
| | | |
第一范式 第二范式 第三范式 第四范式
大数据的特征:大量化:储存量大
增量大
多样化:来源多:搜索引擎
社交网络
格式多:结构化数据
非结构化数据
快速化
有价值
企业推动大数据:大数据:腾讯、华为、谷歌、ETC、数据库、阿里
1.3 大数据的关键技术
1.大数据预处理技术:数据采集
数据存取
基础架构支持
计算结果展现
2.大数据存储技术:存储设备能持久可靠的存储数据
提供可伸缩接口
提供高效查询、更新等操作
3.大数据分析技术:数据处理