克隆虚拟机以及Hadoop集群搭建

用Xshell连接虚拟机

1.安装JDK

目录

1.安装JDK

2.卸载Centos7自带的jdk，安装jdk（版本为1.8）

3.Hadoop（版本为2.7.2）下载与配置环境变量

4.Hadoop配置

5.克隆虚拟机

6.三台虚拟机免密登录

7.格式化

8.将主机的Hadoop拷贝到两台从机上

9.启动集群

---

（1）关闭防火墙

systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld

（2）.设定开关为关闭状态

vim /etc/sysconfig/selinux

2.卸载Centos7自带的jdk，安装jdk（版本为1.8）

（1）查询系统是否以安装jdk

　　#rpm -qa|grep java

或    #rpm -qa|grep jdk

或     #rpm -qa|grep gcj 

（2）卸载已安装的jdk

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64

（3）验证一下是否还有jdk

pm -qa|grep java
或
java -version

 

（4）安装jdk8

①在home目录下新建文件夹tools和softwares

②下载Linux版本的jdk并上传到虚拟机/home/tools下，解压缩到softwares目录下

③修改名称

 ④配置环境变量

vi /etc/profile

光标移到最下面，添加环境变量

export JAVA_HOME=/home/softwares/jdk
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HONME/sbin
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar

⑤生效profile

source /etc/profile

 

3.Hadoop（版本为2.7.2）下载与配置环境变量

（1）同jdk一样，先上传到tools目录下，解压缩到softwares目录下并修改名称

（2）配置环境变量，并生效

export JAVA_HOME=/home/softwares/jdk
export HADOOP_HOME=/home/softwares/hadoop
export HADOOP_MAPRED_HOME=/home/softwares/hadoop
export HADOOP_COMMON_HOME=/home/softwares/hadoop
export HADOOP_HDFS_HOME=/home/softwares/hadoop
export HADOOP_YARN_HOME=/home/softwares/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=/home/softwares/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/sbin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

4.Hadoop配置

（1）用notepad++连接虚拟机，打开设置，选择profile settings

 

（2）选择add new ,输入虚拟机名称,点击ok,输入名称,IP地址，密码（注意connection type选择SFTP）,点击close

（3）选择该虚拟机，弹出小框，点击是，连接成功

 

（4）选择/home/softwares/hadoop/etc/hadoop/

(5)修改core-site.xml文件

在notepad++打开该文件，在<configuration>中添加内容（箭头指的是你的虚拟机名称）,记得保存

    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://houmaster:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/softwares/hadoop/tmp/</value>
    </property>

（6）修改hdfs-site.xml文件

前面的路径为你Hadoop存放的路径

	<property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/softwares/hadoop/hadoop_data/hdfs/namenode</value>
    </property>

（7）修改mapred-site.xml.template文件

    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

（8）修改yarn-site.xml文件

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>

(9)修改hadoop-env.sh文件

修改为你自己的路径，保存

（10）修改slaves文件

添加主机名，一台主机两台从机（一会克隆），保存

5.克隆虚拟机

（1）先关闭虚拟机，右击虚拟机，选择管理，选择克隆（注意：克隆的时候要关闭另外机子（另外两台或一台））

（2）点击两次下一页

（3）选择创建完整克隆，点击下一页，修改名称及位置，点击完成

（4）点击新克隆出来的虚拟机，编辑虚拟机设置，点击网络适配器，选中高级

（5）点击新生成MAC地址，点击确定，然后开启此虚拟机

（6）打开设置，IP地址设置

（7）修改IP地址，点击应用，刷新一下网络，ping一下baidu

 （8）打开Xshell，连接sparkdata1虚拟机，输入用户名，密码

（9）修改名称及添加IP地址，重启生效

将另一台要克隆的虚拟机IP也添加进去（免密登录），三台机子中都要有三个IP地址

（10）另一克隆虚拟机也是如此

6.三台虚拟机免密登录

(1)免密登录，输入后，四个回车，三台机子都要输入该句话

ssh-keygen -t rsa

（2）在三台机子上分布输入这三句话

ssh-copy-id 192.168.75.128
ssh-copy-id 192.168.75.129
ssh-copy-id 192.168.75.130

输入后，在输入yes 和密码即可 

7.格式化

hdfs namenode -format

8.将主机的Hadoop拷贝到两台从机上

scp -r hadoop root@192.168.75.129:/home/softwares/
scp -r hadoop root@192.168.75.130:/home/softwares/

9.启动集群

（1）查看主机jps

（2）查看从机jps，启动成功

关闭集群