使用三台虚拟机和Hadoop3.1.0搭建集群

首先要说明一点,一下教程针对hadoop3.1.0,注意不是2.X.X!!!(本人因为版本浪费了将近三天的时间,人生观都差点崩塌了)

虚拟机这里就不过多说了,网上教程一大把,这里使用的是ubuntu系统

1、三台虚拟机启动后修改hostname

使用一下命令 sudo gedit /etc/hostname,将三台虚拟机的分别修改为master,slave1,slave2(master,node1,node2)均可自己分得清就成

修改完之后重启虚拟机,下面是修改后的效果

2、修改hosts,将三台虚拟机的ip写入

首先输入ifconfig命令,依次查看三台虚拟机的IP地址

然后 依次在三台虚拟机的命令行中输入sudo vim /etc/hosts,修改内容如图所示:

完成修改后,用下面的命令测试三台虚拟机是否可以相互ping通。

3、建立hadoop账号

为hadoop集群专门设置一个用户组及用户,命令如下

添加一个属于hadoop用户组的had_user用户,命令如下:

设置用户had_user的登录密码,命令如下:

切换到had_user用户,之后的操作都是在该用户下进行,命令如下:

上述设置需要在3台虚拟机里面都同样进行。

4、 SSH无密码验证配置

安装SSH,命令如下:

 生成公钥、私钥,命令如下:

提示输入密钥保存的路径,直接按enter键使用默认值即可,如下图:

把id_rsa.pub追加到授权的key里面去,命令如下:

 

测试是否可以用ssh无密码登录本地localhost,命令如下:

 

在另外两个节点虚拟机重复以上步骤。

5、jdk、hadoop安装

在had_user用户的根目录下创建文件夹local,jdk和hadoop都安装在这个文件夹下,命令如下:

将下载好的jdk和hadoop安装包复制到local文件夹下并解压,命令如下:

完成后,查看local目录,如图所示:

安装完之后配置jdk与hadoop的环境变量修改profile文件

输入 sudo gedit /etc/profile

配置jdk

export JAVA_HOME=/usr/local/jdk1.8.0_181

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JRE_HOME=$JAVA_HOME/jre

PATH=$JAVA_HOME/bin:$PATH
配置hadoop

export HADOOP_HOME=/usr/local/hadoop-3.1.0 PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

修改完之后 使用 source /etc/profile 使修改的环境变量生效。

6、配置hadoop文件-----------首先切到/hadoop3.1.0/etc/hadoop下,然后使用sudo gedit XXXX来编辑这几个文件

     1  配置hadoop-env.sh

添加export JAVA_HOME=/opt/java/jdk1.8.0_172/ 

 

2 配置core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://servera:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

</configuration>

 

3 配置hdfs-site.xml

 
<configuration>
 
 
<!-- Configurations for NameNode: -->
<property>
  <name>dfs.namenode.name.dir</name>
  <value>/var/lib/hadoop/hdfs/name/</value>
</property>
 
<property>
  <name>dfs.blocksize</name>
  <value>268435456</value>
</property>
 
<property>
  <name>dfs.namenode.handler.count  </name>
  <value>100</value>
</property>
 
<!-- Configurations for DataNode: -->
 
<property>
  <name>dfs.datanode.data.dir</name>
  <value>/var/lib/hadoop/hdfs/data/</value>
</property>
 
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
 
</configuration>

 

4 配置yarn-site.xml

 
<configuration>
 
  <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>servera</value>
  </property>
 
  <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
  </property>
    <property>
          <name>yarn.nodemanager.resource.memorymb</name>
          <value>800</value>
  </property>
<!-- Configurations for History Server (Needs to be moved elsewhere): -->
</configuration>

5 配置mapred-site.xml

<configuration>
    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>  
        <name>mapreduce.application.classpath</name>  
        <value>  
        /opt/hadoop/hadoop-3.1.0/etc/hadoop,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/common/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/common/lib/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/hdfs/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/hdfs/lib/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/lib/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/yarn/*,  
        /opt/hadoop/hadoop-3.1.0/share/hadoop/yarn/lib/*  
        </value>  
    </property>
</configuration>


 6 配置workers

slave1

slave2

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值