RedHat6.5上安装Hadoop集群

最新推荐文章于 2023-04-03 15:49:52 发布
最新推荐文章于 2023-04-03 15:49:52 发布
阅读量2.4k 收藏 7
点赞数 4
分类专栏： 大数据-Hadoop 文章标签： hadoop集群 JDK red hat
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chongxin1/article/details/74502564
版权

版本号：RedHat6.5   JDK1.8   Hadoop2.7.3

 

hadoop  说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。

基础环境准备：

 

RedHat6.5安装：RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

RedHat如何关闭防火墙 ： http://blog.csdn.net/chongxin1/article/details/76072758

JDK安装：http://blog.csdn.net/chongxin1/article/details/68957808

1、下载hadoop 2.7.3

官网下载地址：https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

百度网盘下载：链接：http://pan.baidu.com/s/1eSAF7sm 密码：vdfp

2、安装3个虚拟机及配置SSH免登录

2.1安装3个机器和SSH服务

由于在这里我使用的rhel-server-6.5-x86_64-dvd.iso，安装的时候自带了ssh服务，所以省去装SSH服务。

RedHat6.5安装可参考：RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

输出 ssh localhost 是否已安装ssh服务，例如Ubuntu就需要安装openssh服务。

安装3个机器，机器名称分别叫master、slave1、slave2(说明机器名不这么叫可以，待会用hostname命令修改也行)。

此处我使用的VMware虚拟机软件，直接采用克隆模式，克隆出两台新的机器。

如图：   

 这一步需要注意一下：

 克隆完之后：

     说明：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。

          使用ifconfig命令，查看这3个机器的IP。我的机器名和ip的对应关系是:

192.168.168.200  master

192.168.168.201  slave1

192.168.168.202  slave2 

把3台机器的IP地址按上述对应关系进行配置即可。

2.2检查机器名称 

为了后续操作方便，确保机器的hostname是我们想要的。拿192.168.168.200这台机器为例，用root账户登录，然后使用hostname命令查看机器名称

如图： 

 

发现，这个机器名称不是我们想要的。不过这个好办， 我给它改个名称，命令是：

hostname   master  #立即生效

如图： 

 

类似的，将其他两个机器，分别改名为slave1和slave2。

每当RedHat安装成功时，我们的机器名都是默认的，但为了以后集群中能够容易分辨各台服务器，需要给每台机器取个不同的名字。
 
sudo gedit /etc/sysconfig/network   #永久生效

将HOSTNAME后面的值改为想要设置的主机名，然后重启即可。

类似的，将其他两个机器，分别改名为slave1和slave2。

2.3 修改/etc/hosts文件

修改这3台机器的/etc/hosts文件，在文件中添加以下内容： 

 192.168.168.200   master

 192.168.168.201   slave1

 192.168.168.202   slave2

sudo gedit /etc/hosts

如图：

配置完成后使用ping命令检查这3个机器是否相互ping得通，以master为例，在什么执行命令：

 ping  slave1

如图： 

 

执行命令：

ping  slave2

如图：     

   ping得通，说明机器是互联的，而且hosts配置也正确。

2.4配置每台机器的无密码登陆(SSH)

给3个机器生成秘钥文件

以master为例，执行命令，生成空字符串的秘钥(后面要使用公钥)，命令是：

 
 
  1. [root@master .ssh]# ssh-keygen  -t   rsa   -P  ''​

如图：

     

      因为我现在用的是root账户，所以秘钥文件保存到了/root/.ssh/目录内，可以使用命令查看，命令是：

 
 
  1. ls   /root/.ssh/​

如图：   

使用同样的方法为slave1和slave2生成秘钥(命令完全相同，不用做如何修改)：

 
 
  1. [root@slave1 ~]# ssh-keygen  -t   rsa   -P  ''
  2. [root@slave2 ~]# ssh-keygen  -t   rsa   -P  ''​

登录master机器，输入命令：

  
  
  1. [root@master ~]# cd /root/.ssh
  2. [root@master .ssh]# cp id_rsa.pub authorized_keys​

将id_rsa.pub公钥拷贝重命名为authorized_keys文件。

登录slave1和slave2机器，将其他主机的公钥文件内容都拷贝到master主机上的authorized_keys文件中，命令如下：

  
  
  1. #登录slave1,将公钥拷贝到master的authorized_keys中
  2. [root@slave1 ~]# ssh-copy-id -i master​

 
 
  1. #登录slave2,将公钥拷贝到master的authorized_keys中
  2. [root@slave2 ~]# ssh-copy-id -i master​

授权authorized_keys文件

登录master,在.ssh目录下输入命令：

  
  
  1. [root@master .ssh]# cd /root/.ssh
  2. [root@master .ssh]# chmod 600 authorized_keys​

将authorized_keys文件复制到其他机器  

 
 
  1. [root@master .ssh]# scp /root/.ssh/authorized_keys root@slave1:/root/.ssh/authorized_keys
  2. [root@master .ssh]# scp /root/.ssh/authorized_keys root@slave2:/root/.ssh/authorized_keys​

注意第一次ssh登录时需要输入密码，再次访问时即可免密码登录。

测试连接成功的情况：
在每台机器上机器上运行：

 
 
  1. [root@master ~]# ssh master date
  2. 2017年 12月 10日 星期日 20:58:31 CST
  3. [root@master ~]# ssh slave1 date
  4. 2017年 12月 10日 星期日 20:58:31 CST
  5. [root@master ~]# ssh slave2 date
  6. 2017年 12月 10日 星期日 20:58:43 CST​

至此，免密码登录已经设定完成！

3安装hadoop

         说明，为了省去一系列获取管理员权限，授权等繁琐操作，精简教程，这里都是使用root账户登录并且使用root权限进行操作。

3.1 必须首先安装JDK

3.2安装hadoop        

3.2.1 上传文件并解压缩

        在/usr/local目录下新建一个名为hadoop的目录，并将下载得到的hadoop-2.7.3.tar.gz上传到该目录下，如图: 

 进入到该目录，执行命令:

mkdir /usr/local/hadoop

cd   /usr/local/hadoop

 执行解压命令：

 tar  -xvf   hadoop-2.7.3.tar.gz        

3.2.2新建几个目录

           在/root目录下新建几个目录，复制粘贴执行下面的命令： 

 mkdir  /usr/local/hadoop  

 mkdir  /usr/local/hadoop/tmp  

 mkdir  /usr/local/hadoop/var  

 mkdir  /usr/local/hadoop/dfs  

 mkdir  /usr/local/hadoop/dfs/name  

 mkdir  /usr/local/hadoop/dfs/data  

 

3.2.3 修改etc/hadoop中的一系列配置文件

          修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop目录内的一系列文件。

3.2.3.1 修改core-site.xml

修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml文件
在<configuration>节点内加入配置:

 
 
  1. <property>
  2.      <name>hadoop.tmp.dir</name>
  3.      <value>/usr/local/hadoop/tmp</value>
  4.      <description>Abase for other temporary directories.</description>
  5. </property>
  6. <property>
  7.      <name>fs.default.name</name>
  8.      <value>hdfs://master:9000</value>
  9. </property>

3.2.3.2 修改hadoop-env.sh

         修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh文件

         将export   JAVA_HOME=${JAVA_HOME}

         修改为：

         export   JAVA_HOME=/usr/local/java/jdk1.8

        说明：修改为自己的JDK路径

3.2.3.3 修改hdfs-site.xml

          修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml文件

          在<configuration>节点内加入配置:

 
 
  1. <property>
  2.    <name>dfs.name.dir</name>
  3.    <value>/usr/local/hadoop/dfs/name</value>
  4.    <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
  5. </property>
  6. <property>
  7.    <name>dfs.data.dir</name>
  8.    <value>/usr/local/hadoop/dfs/data</value>
  9.    <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
  10. </property>
  11. <property>
  12.    <name>dfs.replication</name>
  13.    <value>2</value>
  14. </property>
  15. <property>
  16.    <name>dfs.permissions</name>
  17.    <value>false</value>
  18.    <description>need not permissions</description>
  19. </property>

          说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

3.2.3.4 新建并且修改mapred-site.xml

           在该版本中，有一个名为mapred-site.xml.template的文件，复制该文件，然后改名为mapred-site.xml，命令是：

 
 
  1.  cp   /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template 
  2.     /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml

 修改这个新建的mapred-site.xml文件，在<configuration>节点内加入配置:

 
 
  1. <property>
  2.     <name>mapred.job.tracker</name>
  3.     <value>master:49001</value>
  4. </property>
  5. <property>
  6.     <name>mapred.local.dir</name>
  7.     <value>/usr/local/hadoop/var</value>
  8. </property>
  9. <property>
  10.     <name>mapreduce.framework.name</name>
  11.     <value>yarn</value>
  12. </property>​

 3.2.3.5 修改slaves文件

         修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：

3.2.3.6 修改yarn-site.xml文件

         修改/usr/local/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml文件，

         在<configuration>节点内加入配置(注意了，内存根据机器配置越大越好，我这里只配2个G是因为机器不行)

 
 
  1. <property>
  2.     <name>yarn.resourcemanager.hostname</name>
  3.     <value>master</value>
  4. </property>
  5. <property>
  6.     <description>The address of the applications manager interface in the RM.</description>
  7.     <name>yarn.resourcemanager.address</name>
  8.     <value>${yarn.resourcemanager.hostname}:8032</value>
  9. </property>
  10. <property>
  11.     <description>The address of the scheduler interface.</description>
  12.     <name>yarn.resourcemanager.scheduler.address</name>
  13.     <value>${yarn.resourcemanager.hostname}:8030</value>
  14. </property>
  15. <property>
  16.      <description>The http address of the RM web application.</description>
  17.      <name>yarn.resourcemanager.webapp.address</name>
  18.      <value>${yarn.resourcemanager.hostname}:8088</value>
  19. </property>
  20. <property>
  21.      <description>The https adddress of the RM web application.</description>
  22.      <name>yarn.resourcemanager.webapp.https.address</name>
  23.      <value>${yarn.resourcemanager.hostname}:8090</value>
  24. </property>
  25. <property>
  26.      <name>yarn.resourcemanager.resource-tracker.address</name>
  27.      <value>${yarn.resourcemanager.hostname}:8031</value>
  28. </property>
  29. <property>
  30.      <description>The address of the RM admin interface.</description>
  31.      <name>yarn.resourcemanager.admin.address</name>
  32.      <value>${yarn.resourcemanager.hostname}:8033</value>
  33. </property>
  34. <property>
  35.      <name>yarn.nodemanager.aux-services</name>
  36.      <value>mapreduce_shuffle</value>
  37. </property>
  38. <property>
  39.      <name>yarn.scheduler.maximum-allocation-mb</name>
  40.      <value>2048</value>
  41.      <discription>每个节点可用内存,单位MB,默认8182MB</discription>
  42. </property>
  43. <property>
  44.      <name>yarn.nodemanager.vmem-pmem-ratio</name>
  45.      <value>2.1</value>
  46. </property>
  47. <property>
  48.     <name>yarn.nodemanager.resource.memory-mb</name>
  49.     <value>2048</value>
  50. </property>
  51. <property>
  52.     <name>yarn.nodemanager.vmem-check-enabled</name>
  53.     <value>false</value>
  54. </property>

       说明：yarn.nodemanager.vmem-check-enabled这个的意思是忽略虚拟内存的检查，如果你是安装在虚拟机上，这个配置很有用，配上去之后后续操作不容易出问题。如果是实体机上，并且内存够多，可以将这个配置去掉。

3.3配置环境变量

修改相应的配置文件：

sudo gedit /etc/profile

增加如下内容：


  
  
  1. #set Hadoop enviroment
  2. export HADOOP_HOME=/usr/local/hadoop/hadoop-2.7.3
  3. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  4. export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  5. export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop​

使配置文件立即生效

source /etc/profile

输入命令：hadoop 即可验证是否生效：

3.4 slave节点的Hadoop安装

SLAVE节点：

（1）复制master节点的hadoop文件夹到slave上：

scp -r /usr/local/hadoop root@slave1:/usr/local

scp -r /usr/local/hadoop root@slave2:/usr/local

（2）修改/etc/profile：

过程如 3.3配置master 一样

4启动hadoop

4.1在namenode上执行初始化

           因为master是namenode，slave1和slave2都是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。

进入到master这台机器的/usr/local/hadoop/hadoop-2.7.3/bin目录，也就是执行命令：

cd   /usr/local/hadoop/hadoop-2.7.3/bin

执行初始化脚本，也就是执行命令：

 ./hadoop  namenode  -format

如图： 

稍等几秒，不报错的话，即可执行成功，如图：       

 格式化成功后，可以在看到在/usr/local/hadoop/dfs/name/目录多了一个current目录，而且该目录内有一系列文件

4.2在namenode上执行启动命令

 因为master是namenode，slave1和slave2都是datanode，所以只需要再master上执行启动命令即可。

           进入到master这台机器的/usr/local/hadoop/hadoop-2.7.3/sbin目录，也就是执行命令：

cd   /usr/local/hadoop/hadoop-2.7.3/sbin

执行初始化脚本，也就是执行命令：

 ./start-all.sh

第一次执行上面的启动命令，会需要我们进行交互操作，在问答界面上输入yes回车

如图：

5测试hadoop

 master是我们的namanode，该机器的IP是192.168.168.200，在浏览器访问如下地址:

http://192.168.168.200:50070

 

 

在浏览器里访问如下地址：http://192.168.168.200:8088

 自动跳转到了cluster页面

 如图：

参考资料：http://blog.csdn.net/pucao_cug/article/details/71698903

四叶草Grass
关注
  • 4
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
RedHatlinux下安装hadoop
07-23
资源名称：RedHat linux下安装hadoop内容简介：           hadoop安装有三种模式：单机模式，伪分布式，完全分布式。本文档主要讲述的是RedHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试;感兴趣的朋友可以过来看看。           Hadoop是一个由Apache基金会所开发的分布式系统基础架构。      资源太大，传百度网盘了，链接在附件中，有需要的同学自取。
redHat linux下安装hadoop 0.20.2, 并在windows下远程连接此hadoop,开发调试
iteye_13062的博客
05-14 156
此文章的前提是：知道hadoop是什么，知道什么是分布式系统，了解hdfs和mapreduce的概念和原理。这里只是把笔者在学习hadoop过程中的一些经验和自己的看法分享一下。此文章包括两部分：         1、hadoop 在 redhat linux下的安装过程       网上有很多讲授在windows下通过Cygwin安装hadoop的，笔者认为hadoop原始设计就是...
hadoop安装-redhat
zhangxinrun的专栏
01-01 7158
<br />1.基本准备<br />操作系统：redhat 5.2<br />jdk： jdk-6u21-linux-i586-rpm.bin（安装1.6或以上版本，安装步骤请参考其他文）<br />hadoop：hadoop-0.21.0.tar.gz<br />硬件：三台机器，IP配置如下：<br />node1:192.168.14.77<br />node2:192.168.14.155<br />node3:192.168.14.99<br />2.系统配置<br />(1)以root身份打开/e
RedHat6.5上安装Hadoop单机
chuowen140381的博客
07-21 200
版本号：RedHat6.5 JDK1.8 Hadoop2.7.3 hadoop 说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。 ...
在VMWare Workstation上使用RedHat Linux安装和配置Hadoop群集环境01_虚拟机的安装
设计模式
05-31 7753
在虚拟软件VMWare Workstation中安装和配置Hadoop群集环境
在redhat6.5离线安装docker1.7所需要rpm包
04-18
在redhat6.5离线安装docker1.7所需要rpm包
CentOS/RedHat 6.5 离线安装Docker
09-30
主要介绍了CentOS/RedHat 6.5 离线安装Docker的相关资料,需要的朋友可以参考下
Redhat6.5 Redhat6.5虚拟机镜像
03-01
RedHat6.5的linux虚拟机，包含切换屏幕插件。亲测，可用
Redhat6.5安装oracle11g的方法
09-09
主要介绍了Redhat6.5安装oracle11g的方法，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下
redhat6.5安装telnet服务
12-08
本文将详细阐述在RHEL 6.5上安装telnet服务的过程，以及相关知识点。 首先，telnet是一种基于TCP协议的远程登录服务，允许用户通过网络在一台远程主机上执行命令。尽管它因为明文传输数据而安全性较低，但在某些...
vmware配置Linux完全分布式，hadoop环境搭配
04-23
该资源是通过Vmware，创建hadoop虚拟机，然后搭配hadoop环境变量。本资源是搭配的完全分布式
RedHat下安装hadoop集群
12-03
在redhat下安装hadoop集群，文件中包括设置静态ip，jdk安装，内含截图，详细指导。
redhat6.下安装配置hadoop环境--单实例版本
weixin_33778544的博客
04-01 191
redhat6.4下（用作hadoop master ：记录所有数据分布情况--namenode）--安装单实例计算机1、修改hostname[root@hadoop01 ]# vim /etc/hosts[root@hadoop01 ]# hostnamehadoop012、关闭防火墙[root@hadoop01]# service iptables stopiptables: Setting ...
在Redhat8.0上安装Hadoop3.1.3单机版
落落的专栏 专注SQL调优 性能调优
05-06 910
hadoop最新版本是3.2.1，安装之后SecondaryNameNode起不来 所以安装3.1.3 hadoop下载地址：http://hadoop.apache.org/releases.html 修改/etc/hosts，添加ip和hostname vi /etc/hosts 192.168.56.10 server 注意：这里填写ip hostname 我的ip是 192....
Linux CentOS6.5 安装hadoop3.0.3
flying_pig1989的博客
09-07 477
Linux CentOS6.5 安装hadoop3.0.3 1. 下载hadoop安装包 从官方网站http://hadoop.apache.org/releases.html下载hadoop对应的安装包hadoop-3.0.3.tar.gz（版本按需获取）。 2. 解压安装包 tar -zxvf hadoop-3.0.3.tar.gz -C /usr/local/hadoop-3.0....
redhat上安装hadoop2
huanghuazsp的专栏
02-22 1254
redhat上安装hadoop 本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦： Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctrl + I 引用
Redhat_rhel搭建Hadoop完全分布式配置服务
“等你下课”
03-21 780
Redhat_rhel8.0_搭建Hadoop完全分布式配置服务详细 一、简述： 1.1、
red hat 7 64位 安装jdk和hadoop记录
这一世轮回
01-17 272
redhat 7 64位 1.停掉防火墙命令 systemctl stop firewalld.service 停止防火墙命令（重启也无法开启） systemctl disable firewalld.service 2.更改主机域名 vi /ctx/hosts 打开后输入自己主机名比如新增一行 192.168.23.110 dapeng110 3.解压文件 tar -zxvf 要...
Hadoop分布式集群安装部署（Redhat 6.4 64位操作系统）
飘羽的博客
04-03 606
P 地址是 192.168.222.100，slave 对应的 IP 是 192.168.222.100，而自己在做配置时，需要将这两个 IP 地址改为你的 master 和 slave 对应的 IP 地址。选中要配置的虚拟机，然后点击右键--->设置--->网络适配器--->“自定义（U）：特定虚拟网络”--->VMnet*(NAT)模式--->确定。配置VMWare网络模式，虚拟机中点击“编辑”--->“虚拟网络编辑器”，删除其他网络模式，只保留NAT模式，如下图，出现以下信息表示配置成功。
redhat6.5虚拟机安装教程
最新发布
09-26
redhat6.5虚拟机的安装教程如下： 1. 首先，您需要下载redhat6.5的ISO镜像文件。您可以在下载地址https://www.cnblogs.com/hellojesson/p/7918801.html找到redhat_6.5的下载链接。 2. 安装VMware虚拟化软件。您可以从VMware官方网站下载最新的VMware软件，版本为VMware Workstation 12。请确保您的计算机是64位操作系统，因为VMware 12只支持64位操作系统。运行VMware安装程序，并在注册页面输入注册码完成安装。 3. 打开VMware软件，创建一个新的虚拟机。选择“新建虚拟机”选项，然后按照向导的指示进行操作。在创建虚拟机的过程中，您需要选择Redhat 6.5的ISO镜像文件作为虚拟机的安装媒介。 4. 启动虚拟机。在VMware虚拟机管理界面中，选中您新创建的虚拟机“Redhat”，然后点击“开启此虚拟机”按钮，启动虚拟机。 5. 进入Linux。在启动后，您将看到Redhat 6.5的安装界面。按照安装界面上的指示进行操作，包括选择安装语言、设置时区、分配磁盘空间等。完成这些设置后，继续进行Redhat 6.5的安装。 6. 完成安装后，您将可以进入Redhat 6.5的操作系统。您可以根据自己的需求进行进一步的配置和使用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值