hadoop和spark分布式集群搭建及运用

##hadoop和spark分布式集群搭建及简单运用

###1Hadoop集群部署

#####1-1Hadoop简介

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。
对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器，管理文件系统的命名空间和客户端对文件系统的访问操作；集群中的DataNode管理存储的数据。MapReduce框架是由一个单独运行在主节点上的JobTracker和运行在每个从节点的TaskTracker共同组成的。主节点负责调度构成一个作业的所有任务，这些任务分布在不同的从节点上。主节点监控它们的执行情况，并且重新执行之前的失败任务；从节点仅负责由主节点指派的任务。当一个Job被提交时，JobTracker接收到提交作业和配置信息之后，就会将配置信息等分发给从节点，同时调度任务并监控TaskTracker的执行。
从上面的介绍可以看出，HDFS和MapReduce共同组成了Hadoop分布式系统体系结构的核心。HDFS在集群上实现分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理。HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发、跟踪、执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务。

1-2 环境及软件说明

我的环境是在虚拟机中配置的，Hadoop集群中包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通,节点IP地址分布如下：
虚拟机系统 机器名称 IP地址
Centos7 Master 172.16.153.53
Centos7 Salve1 172.16.153.54
Centos7 Salve2 172.16.153.55
Centos7 Slave3 172.16.153.56
Master机器主要配置NameNode和JobTracker的角色，负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode 和TaskTracker的角色，负责分布式数据存储以及任务的执行。

1-2-1 虚拟机软件

VMware Workstation

1-2-2 JDK

jdk-8u91-linux-x64.rpm

1-2-3 Xshell

Xshell 5

1-2-4 hadoop安装包

hadoop-2.7.3.tar.gz

1-3 配置基础环境

1-3-1固定IP地址

命令vim /etc/sysconfig/network-scripts/ifcfg-ens33(防止重启后IP的变化)

1-3-2 安装配置JAVA环境

把jdk-8u91-linux-x64.rpm拷贝到/usr/local目录下，然后在local下执行rpm -ivh jdk-8u91-linux-x64.rpm命令进行jdk解压安装，会默认安装在/usr/java/目录下。

编辑/etc/profile文件，配置JAVA_HOME、PATH、CLASSPATH，保存后执行source /etc/profile命令使java环境变量配置生效。

1-3-3 修改Hostname

在ce