spark、hadoop集群添加节点

1、首先添加hdfs的节点，将安装包上传到服务器，设置好环境变量。配置文件按之前spark集群搭建的那里进行修改。

 设置完成后，要对新节点新型格式化：

# hdfs  dfs  namenode  -format

生成公钥、私钥，配置免密登录：

ssh-keygen   -t rsa   

一直回车就好了，会在用户的家目录下生成.ssh目录，里面有公钥和私钥。需要处建一个新的文件叫authorized_keys,将自己的公钥和master服务器上的公钥都放到这个文件里面，并将自己的公钥copy到master服务器的authorized_keys文件里面。

# chmod  600 authorized_keys

然后将自己的主机名添加到所有的节点服务器的hosts文件里，并将其他的节点主机名也添加到自己的hosts文件里。

启动服务：

./start-dfs.sh

！然后在namenode,查看集群情况:

 # hdfs dfsadmin -report

！最后还需要对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864

！默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%，启动Balancer：

  #sbin/start-balancer.sh -threshold 5

   等待集群自均衡完成

 

2、添加spark节点

上传spark的安装包，然后按之前集群上的配置文件进行修改：

首先是将主机名添加到各自的hosts文件，并修改spark的conf目录下的slaves文件，将主机名添加到此处。

启动服务：

在master上：

#./stop-all.sh

#./start-all.sh

 

访问spark服务器的8080端口，查看节点是否添加成功。

转载于:https://www.cnblogs.com/cuishuai/p/7795015.html