createhdcluster

She使用手册

大数据集群搭建与调优

大数据集群搭建与调优

大数据教研与开发，集群环境搭建是第一步、也是最困难的一步，其困难程度之高往往导致学习者过早地放弃进入这个技术领域。首先，搭建一个包括3节点虚拟机的最小集群，至少需要12G+内存，这要求个人本地计算机至少安装16G物理内存，这还没有考虑CPU的情况；即便是具备了这个基础条件，大数据的学习过程需要一个不短的周期，而要保持这个集群一直运行也不现实，关闭本地计算机通常会导致集群不能正常地再次启动；有谁能随随便便成功呢，爱迪生发明个灯泡还用了7000次试验呢，学习任何技艺都会出现反复实验，但，从一种配置回退到另一种配置，这也是从业者的噩梦。

She提供全系列、分步骤镜像，让你的大数据能够从任一成功阶段继续，从裸Linux到Zookeeper、Hadoop、Tez、Hive、Spark、Oozie、Hbase，

到可期的Kafka、Flink、Ambari，All in One的Jupyter，最新版本的TensorFlow，使用你擅长的任一语言，Python、Java、Scala、R、Julia，这都成为你开启大数据应用开发教学、研究、学习之旅的必备利器。

具体地，She提供3个Workspace，并由这3个Workspace组成大数据集群，这三个Workspace分别以hadoopc1、hadoopc2、hadoopc3命名，而不管这3个Workspace镜像所对应的是哪个阶段。举例，我们创建一个HBase阶段的集群，那么这3个Workspace以hadoopc为前缀命名，而其所属的阶段(Stack)则以HBaseC为前缀命名，如下图所示，

所以一个账号只能搭建一套这样集群。其中hadoopc1包括两个容器，分别为远程浏览器Chrome、节点Node1，而远程浏览器用于访问集群内部资源，因为这些资源并没有映射到外网；hadoopc2包括两个容器，分别为mysql、节点Node2；hadoopc3则只包括一个容器，即节点Node3。

当3个同阶段的Workspace都启动成功后，我们需要两个步骤启动集群：首先切换到root用户下运行initHosts.sh，以实现集群3个节点之间建立相互认证，或者说自动配置好集群的hosts文件，因为集群任一节点的ip是在Workspace被创建时随机分配的；然后切换到hadoop用户执行startAll.sh，以启动集群中安装的组件，这个过程是根据集群的配置文件去启动对应组件，并实现启动顺序管理。

BTW，集群这种hadoop用户和mysqlroot用户的密码均为: Yhf_1018。此外，由于用户间的环境是隔离的，因此用户A并不能访问用户B的容器，所以不需要改这个默认密码。

A并不能访问用户B的容器，所以不需要改这个默认密码。