初识大数据

前记

2016年国庆节后，加入延云公司，公司主要从事大数据即席分析，主要产品围绕Hadoop和Spark开展。新的公司、新的行业，也开始了新的工作和学习方式“写博客”。除了记录和总结工作心得，也希望能分享一些有价值的经验。

Hadoop和Spark

随着互联网+和物联网的发展，全社会数据总量和日数据采集量都在快速增长，大公司数据总量已经达到PB级。Hadoop就是近年来发展出的大数据存储和处理的分布式计算框架。

Hadoop核心组件HDFS和YARN+MR2

• HDFS是一个分布式文件系统。它将整个机群的硬盘集成为一个虚拟硬盘，具有高效地大数据的存储和读取能力。
• YARN是一个工作调度和机群资源管理的框架。
• MapReducer2是一个基于YARN的大数据并行处理系统。

Spark

• Spark是一个快速的大数据通用处理引擎，是新一代内存计算大数据平台。

附记（大数据有多大）

• 1KB（Kilobyte） =1024B， 即2的10次方字节，读音“千字节”
• 1MB（Megabyte） =1024KB，即2的20次方字节，读音“兆字节”
• 1GB（Gigabyte） =1024MB，即2的30次方字节，读音“吉字节”
• 1TB（Terabyte） =1024GB，即2的40次方字节，读音“太字节”