MapReduce集群模式调整配置与shell脚本处理

修改 Ubuntu 启动为文本启动模式，减少系统资源的占用。

    sudo nano /etc/default/grub
        注释掉 GRUB_CMDLINE_LINUX_DEFAULT="quiet"
        改GRUB_CMDLINE_LINUX=”text”
        去掉 #GRUB_TERMINAL=console 的注释
    sudo update-grub
    sudo systemctl set-default multi-user.target

写shell，批量修改服务器以文本模式启动

cd /Downloads
touch bat.sh
chmod a+x bat.sh
nano bat.sh

#!/bin/bash
for((i=2;i<5;i++))
{
	scp /etc/default/grub root@s$i:/etc/default/
	ssh -t s$i sudo update-grub
	ssh -t s$i sudo systemctl set-default multi-user.target
}

找出所有默认的配置文件：

    hadoop-2.8.0\share\hadoop\common\hadoop-common-2.8.0.jar\core-default.xml
    hadoop-2.8.0\share\hadoop\hdfs\hadoop-hdfs-2.8.0.jar\hdfs-default.xml
    hadoop-2.8.0\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.8.0.jar\mapred-default.xml
    hadoop-2.8.0\share\hadoop\yarn\hadoop-yarn-common-2.8.0.jar\yarn-default.xml

修改副本数和块大小
    hdfs-site.xml

        <property>
          <name>dfs.replication</name>
          <value>2</value>
          <description>Default block replication. 
          The actual number of replications can be specified when the file is created.
          The default is used if replication is not specified in create time.
          </description>
        </property>
        
        <property>
          <name>dfs.namenode.secondary.http-address</name>
          <value>s4:50090</value>
        </property>
        
        <property>
          <name>dfs.blocksize</name>
          <value>20k</value>
        </property>

编写Shell脚本，发送xml文件到所有服务器    

    #!/bin/bash
    for((i=2;i<5;i++))
    {
        scp $HADOOP_INSTALL/etc/hadoop/hdfs-site.xml ubuntu@s$i:$HADOOP_INSTALL/etc/hadoop/
    }

停掉集群：
    stop-all.sh
删除hadoop临时目录：
    #!/bin/bash
    for((i=2;i<5;i++))
    {
        ssh s$i rm -fR /tmp/hadoop-ubuntu
    }
重启集群：
    删除所有节点的临时文件/tmp/hadoop-ubuntu
    hadoop namenode -format
    start-dfs.sh
    start-yarn.sh

 

 

 

转载于:https://my.oschina.net/weigy/blog/884690