hadoop2.9.0安装与配置 hadoop集群搭建

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yixiao1874/article/details/79076392

上一篇我们安装了Linux系统,想要搭建hadoop集群,还需要安装一些软件。比如JDK和hadoop,下面以JDK1.8和hadoop2.9.0为例介绍如何安装与配置。配置完一台Linux后只需要将这台机器复制几份后配置就完成了几群的搭建。

首先还是去官网下载JDK1.8和hadoop2.9.0,我都是以tar 方式安装。

第一步下载压缩文件使用Xftp5将文件上传至Linux系统/usr/java下。执行tar -xzvf jdk-8u151-linux-x64.tar.gz


解压完成后:


配置环境变量vi /etc/profile 添加

export JAVA_HOME=/usr/java/jdk1.8.0_151

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:JRE_HOME/lib

export PATH=$JAVA_HOME/bin:$PATH


保存退出后,执行 source /etc/profile使环境变量生效


你也可以新建一个java文件输出hello world 试试。

第二步安装hadoop并配置环境变量

tar -xzvf hadoop-2.9.0.tar.gz 并将解压后的文件hadoop-2.7.3修改成hadoop,执行mv hadoop-2.7.3 hadoop
配置hadoop环境便变量,跟JDK相同的操作,vi /etc/profile 添加export(如上图)执行source /etc/profile使配置生效

配置hadoop的JAVA_HOME
vi  /usr/hadoop/etc/hadoop/hadoop-env.sh
添加:export JAVA_HOME=/usr/java/jdk1.8.0_151

修改master的/usr/local/hadoop/etc/hadoop/core-site.xml,指明namenode的信息
vi /usr/local/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
</configuration>
此时hadoop就配置好了,测试hadoop是否安装完成,执行hadoop


第三步搭建hadoop集群

在虚拟节master上右键复制--》输入名称(slave1、slave2、slave3)--》选择完全复制

然后按照上一篇的配置分别配置slave1 slave2 slave3 IP为
slave1 192.168.56.101
slave2 192.168.56.102
slave3 192.168.56.103
并修改主机名称为slave1 slave2 slave3


使用xshell连接三台机器

修改4台机器的/etc/hosts,让他们通过名字认识对方,测试一下互相用名字可以ping通。
192.168.56.100 master
192.168.56.101 slave1
192.168.56.102 slave2
192.168.56.103 slave3


修改master下的/usr/hadoop/etc/hadoop/slaves


此时hadoop的集群及搭建好了,master上运行start-all.sh

所有机器执行jps会看到下图下过就完成了






阅读更多 登录后自动展开
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页