大数据的背景
所谓大数据,就是通常所说的具有4V特征的数据:数据量大Volume、多样性Variety、价值密度低Value、处理速度快 Velocity。它是信息技术发展到一定阶段的必然产物。信息化的过程同时也是数据累积的过程。
大数据的爆发有它的必然性。它主要有以下几个方面的因素:
首先,互联网和移动应用的兴起,让数据的产生呈现爆发式增长,数据的累积速度比以往任何时候都要快;
其次,各类业务型的软件系统经历了数年的运行,积累了大量的业务数据;
最后,数据的存储、处理及云计算技术的快速发展,数据挖掘与机器学习算法的日趋成熟。
bit->byte->Kilobyte->Megabyte->Gigabyte->Trillionbyte->Petabyte->Exabyte->Zettabyte->Jottabyte->Brontobyte
位->字节->千字节->兆字节->吉字节(千兆)->太字节(万亿)->拍字节(千万亿)->艾字节(百亿亿)->泽字节(十万亿亿)->尧字节
相关术语
[1] HDFS:Hadoop Distribution File System Hadoop分布式文件系统
[2] YARN:Yet Another Resource Negotiator Hadoop资源管理与调度器
[3] HA:High Availability 高可用
[4] QJM:Quorum Journal Manager 群体日志管理器