hadoop MapReduce集群模式调整匹配及shell脚本处理

一.克隆多台虚拟机

二.配置虚拟机以文本模式启动(使速度加快，避免图形界面占用较多资源)
1.cd /etc/default

2.cat grub

3.sudo nano grub
将其中GRUB_CMDLINE_LINUX_DEFAULT=”quiet”的quiet替换成test
4.sudo update-grub

5.sudo reboot

三.创建shell脚本(批量处理虚拟机以文本模式启动)
1.创建文件bat.sh
cd ~/Downloads
touch bat.sh

2.使bat.sh可执行，改变权限
chmod a+x bat.sh

3.编辑文件bat.sh
nano bat.sh

#！/bin/bash
for((i=1;i<8;i++)) #假如这里7台虚拟机需要处理
{
  scp /etc/default/grub root@s$i :/etc/default
  ssh -t s$i sudo update-grub

}

4.执行文件bat.sh
cd ~/Downloads
./bat.sh

四.修改副本数(3)和最小block数(128M)
1.找出所有的配置元素
在[hadoop/share/hadoop/xxx.xxx.jar]中寻找
hadoop-common-2.7.3.jar/core-default.xml
hadoop-hdfs-2.7.3.jar/hdfs-default.xml
hadoop-mapreduce-client-core-2.7.3.jar/mapred-default.xml
hadoop-yarn-common-2.7.3.jar/yarn-default.xml

2.修改配置文件
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

以修改hdfs-site.xml为例(修改副本数)：
cd /usr/soft/hadoop2.7.3/etc/hadoop
cat hdfs-site.xml
nano hdfs-site.xml
修改为：
<name>dfs.replication</name>
<value>2</value>

hdfs-site.xml为例(修改最小block数)：
nano hdfs-site.xml
修改为：
<name>dfs.blocksize</name>
<value>20k</value>

3.发送hdfs-site.xml给所有节点

4.重启集群
[1]删除所有节点的临时目录
nano编辑器软件：ctrl+k 删除一行 ctrl+u 复制一行
a.编辑文件bat.sh
nano bat.sh

#！/bin/bash
for((i=1;i<8;i++)) #假如这里7台虚拟机需要处理
{
   scp hadoop_install/etc/hadoop/hdfs-site.xml ubuntu@$i:hadoop_install/etc/hadoop/
}

b.执行文件bat.sh
cd ~/Downloads
./bat.sh

c.停掉集群
stop-all.sh

d.恢复文件bat.sh原内容

#！/bin/bash
for((i=1;i<8;i++)) #假如这里7台虚拟机需要处理
{
    ssh s$i rm -fR /tmp/hadoop-ubuntu
}

[2]格式化文件系统
hadoop namenode -format

[3]start-dfs.sh

[4]start-yarn.sh