安装hadoop1.2集群环境

最新推荐文章于 2024-08-25 12:13:51 发布

mengxiahpu

最新推荐文章于 2024-08-25 12:13:51 发布

阅读量352

点赞数

本文链接：https://blog.csdn.net/mengxiahpu/article/details/40900429

版权

一、条件

安装好CentOS的虚拟机4抬，已安装JDK，且网络设置正常

四台虚拟机IP分别为(hosts文件) vi /etc/hosts

192.168.100.10 Node10

192.168.100.11 Node11

192.168.100.12 Node12

192.168.100.13 Node13

更改主机名，以Node10为例

第一步：
#hostname Node10
第二步：
修改/etc/sysconfig/network中的hostname

关闭防火墙（三台机器都要设置）
输入 chkconfig iptables off    开机不启动防火墙
输入 service iptables  stop 关闭当前防火墙服务

创建hadoop账户

useadd -d /home/hadoop -m hadoop

passwd hadoop设置密码

su hadoop

ssh -keygen -t rsa生成密钥对

cd ~/.ssh

cp id_rsa.pub authorized_keys

然后将各个主机产生的密钥文件导入到同一个文件中

chmod 600 ./authorized_keys

二、安装hadoop

使用WinScp上传hadoop-1.1.2.tar.gz到Node10:/home/hadoop/目录

tar -zxvf hadoop-1.1.2.tar.gz解压

mv hadoop-1.1.2 hadoop #更名，非必须，便于操作

配置环境变量：

vi ~/.bashrc

export HADOOP_HOME=/home/hadoop/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

配置hadoop

更改hadoop安装路径/conf/masters和slaves两个文件。
masters中输入：Node10
slaves中输入：
Node10
Node11
Node12
Node13

配置hadoop-env.sh

加入export JAVA_HOME=/usr/java/jdk

配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。

core-site.xml:

<configuration>
      <property>
            <name>fs.default.name</name>
            <value>hdfs://Node10:9000</value>
      </property>

</configuration>

hdfs-site.xml:

<configuration>
<property>
      <name>dfs.replication</name>
      <value>1</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>false</value>
</property>
</configuration>

mapred-site.xml：

<configuration>
<property>
      <name>mapred.job.tracker</name>
      <value>Node10:9001</value>
</property>
</configuration>