hadoop脚本一键安装（hdfs高可用，yarn高可用）

自动化脚本使用方式

清除动作

使用自动化脚本，干就完了，脚本十 元一份，私信。。。

每台虚拟机中原始安装的所有软件先关闭，然后再删除，（如果已经操作且忘记详情无须担心）注意将每台虚拟上的/etc/profile中配置的所有HOME和Path都删除掉，然后重启每台机器。
主机名要求
三个主机名必须分别是xx1 xx2 xx3
例如：hadoop01 hadoop02 hadoop03也是可以的
但是：mini2 mini3 mini4 不可以 主机名末位必须从1开始，且需要连续
操作系统与软件版本要求
经实际测试，Centos6、Centos7均可，Hadoop2.9.0与hadoop2.7.1均可。因为自动化脚本没有主动关闭防火墙（不同版本差异较大），所以需要自己检查防火墙关闭状态。
用户与免密要求
全部虚拟机必须使用root用户操作且免密码配置完善。
使用前准备
1.修改 all 文件中的三个主机名
2.将老师原来发给大家的配套软件中的大数据软件目录中的zookeeper-3.4.5.tar.gz和jdk-8u151-linux-x64.tar.gz（必须使用jdk8，因为windows中编写Mapreduce程序时使用的jdk时1.8）放置到autoInstall文件夹中，然后将自己的hadoop2.7.1或hadoop2.9.0压缩包放到autoInsta文件夹中（不能使用hadoop3.x版本），准备完毕的autoInstall文件夹内的文件详情如下：

整体上传
将上述autoInstall文件夹内的所有内容上传到自己的第一台主机上的任意目录，然后就可以安装了，注意：所有软件均自动安装到/data目录（无须手动创建），所以如果自己的虚拟机 上的自己创建过/data目录且有重要数据，请自行备份！
脚本基础知识
唯一入口脚本
operation.sh

查看脚本使用帮助

sh operation.sh

安装过程

1. 全自动安装

sh operation.sh install

注意：过程较长，一定要看到三台机器都安装完成才算整体安装过程完成

2. 启动zk集群

sh operation.sh startzks

3. 查看zk集群状态

sh operation.sh statuszks

注意：如果有zk进程既不是leader也不是follower可能是zk集群还处于选举中，等会儿重新执行命令查看即可

4. 一键式全自动格式化第一个Namenode
   注意：不需要手动启动JN集群等格式化前置操作，脚本会自动按照顺序启动

sh operation.sh format

格式化命令自动化程度很高，格式化完成后会启动整个Hadoop集群，启动完成后我们就可以使用hadoop集群了
如果此时JPS 查看说找不到命令 就 source /etc/profile

5. 测试HDFS的HA
   假如启动后：Namenode1 是active状态，Namenode2是standby状态
   则在Namenode1所在的机器上通过jps命令查看Namenode1的进程ID然后使用
   kill -9 xxx 手动杀死Namenode1，然后查看Namenode2是否转为为active状态，若能自动转换则表示HDFS 的HA配置成功。
   注意：测试完成后，在Namenode1进程所在机器上重新执行hadoop内置的start-dfs.sh命令重新启动被杀死的Namenode，保证集群安全。

安装过程中失败
可以使用如下命令一键式卸载已经安装的软件，然后再重新安装：

sh operation.sh uninstall

后续使用
后续使用过程中，可以使用hadoop内置的start-all.sh/stop-all.sh来启动或停止整个hadoop集群，也可以使用start-dfs.sh/stop-dfs.sh来单独启动或关闭HDFS，使用start-yarn.sh/stop-yarn.sh单独启动或关闭YARN。
在第一台主机上管理整个zk集群则需要使用我们的operation.sh 脚本，具体如下：

1.启动整个zk集群

sh operation.sh startzks

2.查看整个zk集群状态（即每个进程的角色）

sh operation.sh statuszks

3.关闭整个zk集群

sh operation.sh stopzks

关于使用中的注意事项：
start-all.sh 全局启动（已经配好环境变量，随便哪儿都可以尽情启动）

关于yarn 中 start-yarn.sh 只能其中本结点的resourcemanager +三台机子的nodemanager
关于 但单启动节点的细节： hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
关于： hadoop-daemon.sh start resourcemanager
hadoop-daemons.sh start nodemanager

关于开机启动顺序：

1.建议先启动 sh operation.sh startzks 这个集群脚本
参数写错，将会爆出提示：

之后启动 sh operation.sh startall 类似于启动hdfs,yarn一系列进程。即start-all.sh

   但是此脚本弄好之后  开启hdfs   以及开启yarn 是分开的，使用start-all.sh    只能启动hdfs.

脚本原作者：mmy http://www.mamingyu.com 了解一下 有待后期改善
all.sh:

clear.sh:

function.sh:


这里之所以要手动关闭防火墙是应为 脚本里只设置了hadoop 3.x 的防火墙关闭，然而我们用的大多数是2.7.x的 关于防火墙的设置命令有少许不同，又懒得改。。。一般机子都默认关闭防火墙，学习的，哪有什么重要数据。。。

没错，比较懒，完整版太费劲。

就这样吧，需要的私聊。