搭建hadoop完全分布式环境，CentOS6.5安装Hadoop2.7.3完整流程

最新推荐文章于 2022-12-02 17:45:42 发布
最新推荐文章于 2022-12-02 17:45:42 发布
阅读量812 收藏 4
点赞数
分类专栏： Hadoop生态系统 文章标签： hadoop

转载地址：http://www.open-open.com/lib/view/open1435761287778.html

总体思路，准备主从服务器，配置主服务器可以无密码SSH登录从服务器，解压安装JDK，解压安装Hadoop，配置hdfs、mapreduce等主从关系。

1、环境，3台CentOS6.5，64位，Hadoop2.7.3需要64位Linux，操作系统十几分钟就可以安装完成，
Master 192.168.0.182
Slave1 192.168.0.183
Slave2 192.168.0.184


2、SSH免密码登录，因为Hadoop需要通过SSH登录到各个节点进行操作，我用的是root用户，每台服务器都生成公钥，再合并到authorized_keys
(1)CentOS默认没有启动ssh无密登录，去掉/etc/ssh/sshd_config其中2行的注释，每台服务器都要设置，

#RSAAuthentication yes
#PubkeyAuthentication yes
(2)输入命令，ssh-keygen -t rsa，生成key，都不输入密码，一直回车，/root就会生成.ssh文件夹，每台服务器都要设置，
(3)合并公钥到authorized_keys文件，在Master服务器，进入/root/.ssh目录，通过SSH命令合并，
cat id_rsa.pub>> authorized_keys
ssh root@192.168.0.183 cat ~/.ssh/id_rsa.pub>> authorized_keys
ssh root@192.168.0.184 cat ~/.ssh/id_rsa.pub>> authorized_keys
(4)把Master服务器的authorized_keys、known_hosts复制到Slave服务器的/root/.ssh目录
(5)完成，ssh root@192.168.0.183、ssh root@192.168.0.184就不需要输入密码了


3、安装JDK，Hadoop2.7需要JDK7，由于我的CentOS是最小化安装，所以没有OpenJDK，直接解压下载的JDK并配置变量即可
(1)下载“jdk-7u79-linux-x64.gz”，放到/home/java目录下
(2)解压，输入命令，tar -zxvf jdk-7u79-linux-x64.gz
(3)编辑/etc/profile
export JAVA_HOME=/home/java/jdk1.7.0_79
export CLASSPATH=.: JAVAHOME/jre/lib/rt.jar: JAVA_HOME/lib/dt.jar: JAVAHOME/lib/tools.jarexportPATH= PATH:$JAVA_HOME/bin 
(4)使配置生效，输入命令，source /etc/profile
(5)输入命令，java -version，完成


4、安装Hadoop2.7，只在Master服务器解压，再复制到Slave服务器
(1)下载“hadoop-2.7.0.tar.gz”，放到/home/hadoop目录下
(2)解压，输入命令，tar -xzvf hadoop-2.7.0.tar.gz
(3)在/home/hadoop目录下创建数据存放的文件夹，tmp、hdfs、hdfs/data、hdfs/name


5、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的core-site.xml
<configuration>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://192.168.0.182:9000</value>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>
</configuration>


6、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的hdfs-site.xml
<configuration>
    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/home/hadoop/dfs/name</value>
    </property>
    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/home/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.replication</name>
         <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>192.168.0.182:9001</value>
    </property>
    <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
    </property>
</configuration>


7、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>192.168.0.182:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>192.168.0.182:19888</value>
    </property>
</configuration>


8、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的mapred-site.xml
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.0.182:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.0.182:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.0.182:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.0.182:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.0.182:8088</value>
    </property>
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>768</value>
    </property>
</configuration>


9、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下hadoop-env.sh、yarn-env.sh的JAVA_HOME，不设置的话，启动不了，
export JAVA_HOME=/home/java/jdk1.7.0_79




10、配置/home/hadoop/hadoop-2.7.0/etc/hadoop目录下的slaves，删除默认的localhost，增加2个从节点，
192.168.0.183
192.168.0.184


11、将配置好的Hadoop复制到各个节点对应位置上，通过scp传送，
scp -r /home/hadoop 192.168.0.183:/home/
scp -r /home/hadoop 192.168.0.184:/home/


12、在Master服务器启动hadoop，从节点会自动启动，进入/home/hadoop/hadoop-2.7.0目录
(1)初始化，输入命令，bin/hdfs namenode -format

     注意：执行这步的时候可能会报一个错误：

     java.net.UnknownHostException: tiancunPC: tiancunPC: unknown error
    at java.net.InetAddress.getLocalHost(InetAddress.java:1505)
    at org.apache.hadoop.net.DNS.resolveLocalHostname(DNS.java:264)
    at org.apache.hadoop.net.DNS.<clinit>(DNS.java:57)
    at org.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:982)
    at org.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:591)
    at org.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:157)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:992)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)
Caused by: java.net.UnknownHostException: tiancunPC: unknown error
    at java.net.Inet4AddressImpl.lookupAllHostAddr(Native Method)
    at java.net.InetAddress 2.lookupAllHostAddr(InetAddress.java:928)atjava.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)atjava.net.InetAddress.getLocalHost(InetAddress.java:1500)…8more16/11/1119:15:23WARNnet.DNS:Unabletodetermineaddressofthehost−fallingbackto“localhost”addressjava.net.UnknownHostException:tiancunPC:tiancunPC:unknownerroratjava.net.InetAddress.getLocalHost(InetAddress.java:1505)atorg.apache.hadoop.net.DNS.resolveLocalHostIPAddress(DNS.java:287)atorg.apache.hadoop.net.DNS.<clinit>(DNS.java:58)atorg.apache.hadoop.hdfs.server.namenode.NNStorage.newBlockPoolID(NNStorage.java:982)atorg.apache.hadoop.hdfs.server.namenode.NNStorage.newNamespaceInfo(NNStorage.java:591)atorg.apache.hadoop.hdfs.server.namenode.FSImage.format(FSImage.java:157)atorg.apache.hadoop.hdfs.server.namenode.NameNode.format(NameNode.java:992)atorg.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1434)atorg.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1559)Causedby:java.net.UnknownHostException:tiancunPC:unknownerroratjava.net.Inet4AddressImpl.lookupAllHostAddr(NativeMethod)atjava.net.InetAddress 2.lookupAllHostAddr(InetAddress.java:928)
    at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1323)
    at java.net.InetAddress.getLocalHost(InetAddress.java:1500)
    … 8 more


    linux中使用hostname查看为：

   [root@tiancunPC hadoop-2.7.3]# hostname
   tiancunPC


   查看/etc/hosts为：

  [root@tiancunPC hadoop-2.7.3]# cat /etc/hosts
  127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
   ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6


   难怪会映射不到，修改/etc/hosts

   [root@tiancunPC hadoop-2.7.3]# cat /etc/hosts
   127.0.0.1   tiancunPC localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

  对应修改另外两个机器的主机名，在执行那个命令就可以了

(2)全部启动sbin/start-all.sh，也可以分开sbin/start-dfs.sh、sbin/start-yarn.sh

     执行sbin/start-all.sh 可能会有错误提示：

     maps to localhost(IP), but this does not map back to the address

    解决办法：

   

修改  /etc/ssh/ssh_config

vim  /etc/ssh/ssh_config

GSSAPIAuthentication no


这个时候可能还会出现这个错误提示：

hadoop出现namenode running as process 18472. Stop it first.，hadoopnamenode

解决办法：重新启动一下hadoop


    

(3)停止的话，输入命令，sbin/stop-all.sh
(4)输入命令，jps，可以看到相关信息


13、Web访问，要先开放端口或者直接关闭防火墙
(1)输入命令，systemctl stop firewalld.service（CentOS6.5没有找到这个命令，在CentOS7中出现）
(2)浏览器打开http://192.168.0.182:8088/
(3)浏览器打开http://192.168.0.182:50070/


14、安装完成。这只是大数据应用的开始，之后的工作就是，结合自己的情况，编写程序调用Hadoop的接口，发挥hdfs、mapreduce的作用。

穿越技术印记的河流
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop2.7.3搭建教程_使用vm、centos7
12-14
免费资源 大数据实验：搭建hadoop并实现数据分析 家人们copy的时候手下留情 ヾ(•ω•`)o
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)及免密登录
记录日常开发过程中遇到的一些问题
03-18 1390
原文地址：https://blog.csdn.net/pucao_cug/article/details/71698903 1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在h...
用CentOS搭建hadoop
qq_45879579的博客
01-11 5403
hadoop是一个开源的大数据框架；hadoop是一个的分布式计算的解决方案；hadoop=HDFS（分布式文件操作系统）+MapReduce（分布式计算）。其中HDFS分布式文件系统中存储是大数据技术的基础；MapReduce编程模型中分布式计算是大数据应用的解决方案。 1.确认安装的虚拟机可以上网，通过Ping百度来进行测试 2.安装 epel-release ...
CentOS 7 安装Hadoop
weixin_47417217的博客
01-16 2648
CentOS 7 安装Hadoop 1、Hadoop安装前的准备 (1)复制文件到CentOS 7 1)建立共享文件夹，如下图所示： 2)将文件复制到hadoop文件夹下 (2)时间同步,如下图所示： (3)修改主机名，如下图所示： (4)配置网络环境，如下图所示： (5)关闭防火墙，如下图所示： (6)配置hosts列表，如下图所示： (7)测试主节点和从节点是否能够相互ping通，如下图所示： (8) 安装jdk 1)新建目录java，并将jdk复制到java下，如下图所示：
Linux系统（Centos7）实现hadoop安装
热门推荐
weixin_45831715的博客
12-07 1万+
Linux系统（Centos7）实现hadoop安装
Centos7安装hadoop
算法与编程之美
10-05 648
1 问题VMWare下centos7，通过官网下载hadoop的linux版本并解压配置环境后运行hadoop version显示bash：hadoop:未找到命令，在确定安装和环境配置上没问题后开始逐渐查找问题2 方法在先把网上常见的方法都尝试一遍无果后，开始排查是否为Hadoop版本兼容问题，一开始用的是hadoop2.10.0以后我换成了最新版本hadoop3.4.3，也不行，最后选择了ha...
第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）.zip
12-21
搭建hadoop单机版+hbase单机版+pinpoint整合springboot 第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）
centos7 安装 hadoop 2.7.3集群.docx
09-19
centos7 安装 hadoop 2.7.3集群.docx
利用虚拟机搭建Hadoop伪集群(基于centos7)
10-17
利用虚拟机搭建Hadoop伪集群(基于centos7),usr 下有 java 和 hadoop两个文件夹,分别解压对应的文件,jdk 的版本是1.8.0_141,hadoop的版本是2.7.3
Hadoop学习笔记(一)Hadoop快速入门：1.完全分布式运行模式
01-07
Hadoop版本：Hadoop-2.7.3 JDk版本：jdk1.8.0_40 1）准备3台虚拟机（关闭防火墙、静态ip、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并...
Ha 高可用hadoop集群安装
ENCCDY的博客
11-14 945
2.7.3高可用hadoop集群安装
Centos7 系统虚拟机之搭建完全分布式Hadoop环境
源源源的博客
07-13 4898
基本工作 建立虚拟机群 在VMware中新建4台虚拟机 1、主机名：hadp01、hadp02、hadp03、hadp04 2、镜像文件：Centos7 （https://pan.baidu.com/s/1pqGMlRwC-t5Qp5YF-aowuA 提取码:w3du） 3、内存：1.5G 资源管理器中在此电脑上右键查看属性，要使得四个虚拟机的内存之和要小于本机运存 4、网络连接：NAT 5、记录各虚拟机IP ip addr //适用于Centos7以上版本 ipconfig
Hadoop大数据生态组件环境安装
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-25 740
本文介绍大数据hadoop环境各组件安装，三台虚拟机分布式安装，详细安装过程内容可参考本文。各组件端口号查看：http://www.gaohongwei.cn/530/ CentOS7配置NAT模式网络详细步骤（亲测版）https://blog.csdn.net/Jackson_mvp/article/details/100856966 1.重启网络 servicenetworkres..
CentOS下Hadoop搭建
土豆~的博客
10-04 2002
本文章以记录自己所学，供大家参考。
CentOS7下Hadoop的环境配置及其安装
qq_45480056的博客
03-02 410
在CentOS7.4环境下安装伪分布式的Hadoop环境（因为只有一台电脑，而且还是在VMware虚拟机上运行，计算机的原因无法带动多个虚拟机） 一、事前准备 1、关闭防火墙 注：如果不关闭防火墙，会出现以下几种情况： ·hdfs 的web 管理页面，打不开该节点的文件浏览页面 ·后台运行脚本（HIVE 的），会出现莫名其妙的假死状态 ·在删除和增加节点的时候，会让数据迁移处理时间更长，甚至不能正...
【Hadoop】第二篇--Centos下安装Hadoop
检哥说IT的博客
06-06 1402
Centos6.8下安装Hadoop2.7，大致分为三个步骤：①虚拟机环境准备②安装JDK③安装Hadoop前提条件：具备Linux操作系统基础，并且已安装虚拟机。
Hadoop环境搭建（Centos7.6环境下简单搭建）
陪你颠沛流离
12-02 142
Hadoop环境搭建
centos hadoop环境安装
guoxuce的博客
05-13 521
配置Java环境 使用jdk-6u45-linux-x64.bin进行安装 ./jdk-6u45-linux-x64.bin，安装后生成jdk1.6.0_45目录 增加Java环境变量 vim ~/.bashrc export JAVA_HOME=/usr/local/src/jdk1.6.0_45 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/li
vscode 技巧总结
weixin_44442852的博客
05-18 1168
SSH远程登录 简介 密钥对生成 在win10系统，使用已有的ssh，进行命令行生成： ssh-keygen -t rsa -b 4096 生成的目录，默认会放在用户的.ssh（.表示隐藏的意思，类似Linux）。 C:\Users\XXX（username）.ssh 注意，如果之前用vscode做过ssh链接，该目录下会有 know_hosts文件，我理解相当于ssh的指纹缓存，先都删掉，否则后面会有冲突。 创建位置路径要严格按照示例路径去填写，否则你可能永远创建不成功，或者创建了根本用不了，详见
搭建hadoop伪分布式环境
最新发布
09-14
要搭建Hadoop伪分布式环境，你需要按照以下步骤进行操作： 1. 安装JDK：首先，确保你已经安装了Java Development Kit (JDK)。Hadoop是用Java编写的，它需要JDK来运行。 2. 下载Hadoop：从Hadoop官方网站...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值