最全全分布Hadoop集群搭建步骤

最新推荐文章于 2024-04-27 23:53:24 发布

weixin_44753820

最新推荐文章于 2024-04-27 23:53:24 发布

阅读量378

点赞数

本文链接：https://blog.csdn.net/weixin_44753820/article/details/103571853

版权

CentOS 7 环境下全分布试安装配置Hadoop

<一>设置静态IP地址

<二>修改主机名

<三>解压安装包

<四>配置环境变量

<五>克隆其他的两个主机

<六>设置ssh免密登录

<七>配置Hadoop文件

<八>格式化namenode和启动Hadoop

<九>测试hdfs和yarn

(一) 设置静态IP地址

1、进入配置

cd /etc/sysconfig/network-scripts
vi ifcfg-eth0

2、配置文件

	TYPE=Ethernet
	BOOTPROTO=static
	DEFROUTE=yes
	IPV4_FAILURE_FATAL=no
	NAME=eth0
	#UUID=70ea9a1f-92d8-4f45-9172-eec10957f5e7
	DEVICE=eth0
	ONBOOT=yes
	IPADDR=192.168.56.11 （ 这里是你要配置的IP地址号）
	NETMASK=255.255.255.0
	GATEWAY=192.168.56.2

（二）修改主机名

1、关闭防火墙

# systemctl disable firewalld
systemctl disable NetworkManager

2、设置主机名称

# vim /etc/hostname
cmaster

3、设置主机名称解析

# vim /etc/hosts
192.168.56.11 cmaster

4、设置DNS解析

# vim /etc/resolv.conf
   nameserver  192.168.56.2

（三）解压安装包

1、先创建几个文件夹

eg: mkdir /usr/java 用于安放jdk
    mkdir /usr/had  用于安放Hadoop
    mkdir /test     用于安放压缩包

2、上传解压

 eg: tar -zxvf hadoop-2.2.0.tar.gz -C /usr/had
     tar -zxvf jdk-7u40-linux-x64.tar.gz -C /usr/had

（四）配置环境变量

先打开文件夹 vi /etc/profile


export JAVA_HOME=/usr/java/jdk1.7.0_40
export JRE_HOME=/usr/java/jdk1.7.0_40/jre
export PATH=$PATH:/usr/java/jdk1.7.0_40/binexport CLASSPATH=./:/usr/java/jdk1.7.0_40/lib:/usr/java/jdk1.7.0_40/jre/lib
export HADOOP_HOME=/usr/had/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

然后刷新 source /ect/profile

(五) 克隆其他两个主机

改主机名称和本机的静态IP地址

（六）设置ssh免密登录

$ssh-keygen -t rsa

$ll ~/.ssh/

$ssh cmaster

$ssh-copy-id cmaster

$ssh-copy-id cslave0

$ssh-copy-id cslave1

然后测试 ssh 主机名和IP地址

（七）配置Hadoop文件

1、进入到/usr/had/hadoop-2.2.0/etc/hadoop

配置

①vi Hadoop-env.sh

 export JAVA_HOME=/usr/java/jdk1.7.0_40
 export HADOOP_CONF_DIR=/usr/had/hadoop-2.2.0/etc/hadoop/

②vi core-site.xml

<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cmaster:9000</value>
 </property>
 <property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>
<property>
   <name>hadoop.tmp.dir</name>
   <value>/home/bigdata/tmp</value>
</property>

③ vi hdfs-site.xml

<property>
   <name>dfs.replication</name>
   <value>3</value>
</property>
<property>
   <name>dfs.block.size</name>
   <value>134217728</value>
</property>
<property>
   <name>dfs.namenode.name.dir</name>
   <value>/home/hadoopdata/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
   <value>/home/hadoopdata/dfs/data</value>
</property>
<property>
   <name>dfs.checkpoint.dir</name>
   <value>/home/hadoopdata/checkpoint/dfs/cname</value>
</property>
<property>
   <name>dfs.http.address</name>
   <value>cmaster:50070</value>
</property>
<property>
   <name>dfs.secondary.http.address</name>
   <value>cmaster:50090</value>
</property>
<property>
   <name>dfs.webhdfs.enabled</name>
   <value>true</value>
</property>
<property>
   <name>dfs.permissions</name>
   <value>false</value>
</property>

④vi mapred-site.xml

<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
   <final>true</final>
</property>
<property>
   <name>mapreduce.jobhistory.address</name>
   <value>cmaster:10020</value>
</property>
<property>
   <name>mapreduce.jobhistory.webapp.address</name>
   <value>cmaster:19888</value>
</property>

⑤yarn-site.xml

<property>
   <name>yarn.resourcemanager.hostname</name>
   <value>cmaster</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>cmaster:8032</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>cmaster:8030</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>cmaster:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>cmaster:8033</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>cmaster:8088</value>
</property>

⑥slaves

cmaster
cslave0
cslave1

⑦分发

 scp -r /usr/had/hadoop-2.2.0/ cslave0:/usr/had/
 scp -r /usr/had/hadoop-2.2.0/ cslave1:/usr/had/

(八)格式化namenode和启动hadoop

1、格式化namenode

 hadoop namenode -format

2、启动hadoop

         1.全启动：start-all.sh
         2.模式启动：start-dfs.sh           start-yarn.sh 
         3.单个进程启动：
                              hadoop-daemon.sh start namenode
                              hadoop-daemons.sh start datanode
                              yarn-daemon.sh start namenode
                              yarn-daemons.sh start datanode
                             mr-jobhistory-daemon.sh start historyserver

(九)测试hdfs和yarn

jps测试
        qMaster出现
                  7824 NodeManager
                  7377 DataNode
                  7704 ResourceManager
                  8136 Jps
                  7241 NameNode
                  7545 SecondaryNameNode

        qSlave1，qSlave2出现
                7249 NodeManager
                7138 DataNode
                7386 Jps

在浏览器中输入