实习日记day1

今天是我在学校实习的第一天，我主要是开始学习 Hadoop 入门，这个在大数据领域赫赫有名的大数据处理框架。
我首先熟悉了分布式和集群的概念，包括它们的区别。分布式是指将多台服务器集中在一起，每台服务器都实现总体中的不同业务，做不同的事情；集群是指一组独立的计算机系统构成的一多处理器系统，它们之间通过网络实现进程间的通信，让若干台计算机联合起来工作，可以是并行的，也可以是做备份。 Hadoop 是主从模式（中心化模式）的架构模式。接下来我开始学习 Hadoop 框架概论。 Hadoop 的功能组件括 HDFS 组件， MapReduce 组件， YARN 组件，所以，我们会说 Hadoop 是一个集合了有储，计算资源调度为一体的大数据分布式框架。还学习了 Hadoop 的发展，包括它的创始人，起源，发展过程。 Hadoop 的架构模块：Hadoop1.0包括 MapReduce , HDFS 。Hadoop2.0包括 MapReduce , Others . YARN , HDFS 。 HDFS 模块有 NameNode , SecondaryName Node , DateNode 。数据计算核心模块有 Resource Manager , Node Manager 。 Hadoop 模块之间的关系是 MapReduce 计算需要的数据和产生的结果需要 HDFS 来进行存储， MapReduce 的运行需要由 Yarn 集群来提供资源调度。
今天的实习让我对 Hadoop 有了初步的了解，也让我对大数据处理有了更深入的认识。在学习过程中，遇到了一些困难，尤其是在理解 MapReduce 的模型时，不过，在不断的深入学习中已经得到了解决，希望在不断的学习中，掌握这门课程。