1、请详述云计算、大数据和物联网三者的联系
1)大数据侧重于对海量数据的存储、分析和处理,从海量数据中发现应用价值,更好地服务社会生活和生产;云计算实质上旨在整理和优化IT资源,并通过网络以服务的方式廉价地提供给用户,物联网的发展目标是物物相连,其发展核心是应用创新;
2)云计算、大数据、物联网三者相辅相成。大数据根值于云计算,大数据分析的很多技术来源于云计算技术,云计算的分布式数据存储和管理系统(包括分布式文件系统和分布式数据库系统)提供了海量数据的存储和管理能力,没有云计算技术作为支撑,大数据分析就无从说起;反之,大数据为云计算提供了用武之地,没有大数据,云计算就无法发挥它的应用价值;物联网的传感器源源不断产生的大量数据,构成了大数据的重要数据来源,没有物联网的飞速发展,就不会带来数据产生方式的变革,即从人工产生阶段转向自动产生阶段。同时,物联网依赖大数据和云计算实现海量数据的存储、分析和处理。
2、请列举5个Hadoop生态系统中的组件,并对每一个组件做简要描述
1)HDFS:是Hadoop分布式文件系统,是Hadoop两大核心项目之一,针对谷歌分布式文件系统的开源实现。HDFS具有处理海量数据,流式处理,可以运行在廉价的商用服务器上等优点。对于超大规模数据集的应用程序而言,选择HDFS作为底层数据存储是较好的选择。
2)HBASE:具有高可靠性、高性能、可伸缩、分布式的列式数据库。一般采用HDFS作为底层数据存储。
3)MapReduce:是一种编程模型,用于超大规模数据集的并行计算。其核心思想是“分而治之”。
4)Hive:是一种基于Hadoop的数据仓库工具。可以对Hadoop文件中的数据集进行数据整理,特殊查询和存储分析。
5)Pig:是一种数据流语言和运行环境。适用于使用Hadoop和MapReduce平台来查询大型半结构化数据集。
3、请详述HBase中Region服务器的Store文件的形成过程以及工作原理
Region服务器是HBASE的核心模块,而STore是Region服务器的核心。Region服务器由一个Hlog文件和一系列Region对象组成,一个Region由多个Store组成。每个Store表示了表的列族的存储。每个Store由一个MEMStore和多个StoreFile组成。当用户写入数据时,先向MEMStore缓存中写入,当MEMStore容量满了之后,执行刷新操作,将内容写入磁盘中的StoreFile文件。随着StoreFile文件的数量逐渐增加,当达到事先设定的数量时,就会触发合并文件操作。多个StoreFile文件会被合并成一个更大的StoreFile文件。当当多个StoreFile文件被合并后,会逐步形成越来越大的StoreFile文件,当单个StoreFile文件大小超过一定的阈值时,触发分裂文件操作。同时,当前的1一个父Region分裂成两个子Region,父Region会下线,两个子Region被Master分配到相应的Region服务器中上。