centos6.7下的hadoop集群配置安装

于 2021-09-14 14:23:00 发布
阅读量596 收藏 7
点赞数
文章标签： hadoop ssh linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45654619/article/details/120286460
版权

centos6.7下的hadoop集群环境配置

一.系统配置

1.修改主机名

在所有的主机上修改/etc/sysconfig/network文件中的HOSTNAME=hadoop1(hadoop2、hadoop3等）
root权限下修改/etc/sysconfig/network：
vi /etc/sysconfig/network
source /etc/sysconfig/network #使文件network生效

2.配置IP地址

修改/etc/sysconfig/network-scripts/ifcfg-eth0，以hadoop1为例，修改后的信息如下：

查看mac地址:

cat /etc/udev/rules.d/70-persistent-net.rules

要修改得地方：BOOTPROTO,IPADDR,NETMASK,GATEWAY,DNS1,HWADDR

IPADDR=192.168.84.110 
HWADDR="00:0C:29:23:C0:B2"
NETMASK=255.255.255.0 
GATEWAY=192.168.84.2 
DNS1=192.168.84.2 
DNS2=8.8.8.8

改完后的例子：

DEVICE="eth0"#网卡名
BOOTPROTO="static" #修改静态地址
HWADDR="00:0C:29:23:C0:B2"#MAC地址
IPV6INIT="no"#禁用IPV6
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.84.110 #实际的IP地址，根据自己的网络情况进行设置
NETMASK=255.255.255.0 #子网掩码
GATEWAY=192.168.84.2 #网关
DNS1=192.168.84.2 #DNS,和网关一样
DNS2=8.8.8.8
UUID="476b3e36-f94f-4d6e-8835-93da6035a00f"

3.主机名与IP地址做映射

把所有节点的IP地址与主机名做映射后写入到/etc/hosts文件，然后分发到所有主机，样例如下：
vi /etc/hosts

127.0.0.1   localhostlocalhost.localdomain localhost4 localhost4.localdomain4
::1         localhostlocalhost.localdomain localhost6 localhost6.localdomain6
192.168.84.110 hadoop1
192.168.84.120 hadoop2
192.168.84.130 hadoop3 #ip地址根据自己得实际修改情况

4.关闭防火墙

在所有主机节点上关闭防火墙，命令如下：
service iptables stop

注意：对于centos 6.7 ，使用命令chkconfig iptables off关闭防火墙好像没用。

方便局域网中不同计算机之间的通信。（没有关闭防火墙的话，部分服务不能跨计算机进行访问，即部分端口是关闭的）

5.设置selinux

修改所有主机/etc/selinux/config文件SELINUX=disabled。
方便局域网中不同计算机之间的通信。
vi /etc/selinux/config
注意：SELinux 是部署在 Linux 系统中的安全增强功能模块，它通过对进程和文件资源采用 MAC（强制访问控制方式）为 Linux 系统提供了改进的安全性。

6.设置hadoop服务器集群各台服务器之间免密登录

1.在集群中所有服务器中的hadoop用户环境下，使用命令ssh-keygen -t rsa 生成密钥对；
ssh-keygen -t rsa
2.将所有用户生成的公钥放在一个文件authorized_keys之中;
3.将该文件拷贝到所有服务器下的/home/hadoop/.ssh之中；
4.将.ssh目录的权限设置为
chmod 700 .ssh 
chmod 600 authorized_keys
注意：必须要修改目录以及文件权限

二.安装JDK

从网上下载jdk1.8以上64位linux版本。在此，我们安装jdk-1.8.0-8u60-linux-x64.rpm版

1.安装

rpm -ivh jdk-1.8.0-8u60-linux-x64.rpm

2.验证

java -version
若显示一下类似得信息，则说明安装成功：
java version "1.8.0_60"Java(TM) SE Runtime Environment (build 1.8.0_60-b27)Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mode)

三.安装Hadoop

说明：本次实验我们定义的三台主机名分别为hadoop1、hadoop2、hadoop3对应的ip地址是根据我自己的环境来设置的，大家可以根据自己的实际情况来设置ip地址。

hadoop1(192.168.190.110)hadoop2(192.168.190.120)hadoop3(192.168.190.130)
NameNodeSecondaryNameNodeResourceManager
DataNodeDataNodeDataNode
NodeManagerNodeManagerNodeManager

1、Hadoop的下载和解压

我从网上下载Hadoop的安装包，然后在所有的主机上解压即可（本次我们下载的hadoop-2.6.0-cdh5.10.1.tar.gz）。解压命令如下：

tar -zxf /home/hadoop/Desktop/hadoop-2.6.0-cdh5.11.2.tar.gz -C /home/hadoop

注：这里的解压路径我选择的是/home/hadoop

解压后转换到/home/hadoop目录，我们发现当前目录下有个文件hadoop-2.6.0-cdh5.11.2，我们把它改下名字
mv hadoop-2.6.0-cdh5.11.2 hadoop

2、Hadoop系统环境变量的配置

在所有主机的/etc/profile文件中最后一行添加下边的信息

export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

配置完后

source /etc/profile

注释：/home/hadoop/hadoop是Hadoop的解压路径

四.配置Hadoop

在所有的主机上做以下配置（也可以在一台主机上配置完后，拷贝到其他主机）。所有配置的都在/home/hadoop/hadoop/etc/hadoop目录下（Hadoop解压后目录里的etc/hadoop里）。

注意：以下四个配置文件的内容包含路径，目录等内容要对上自己的虚拟机。

1、core-site.xml的配置

<configuration>
<property>
<name>fs.defaultFS</name> #hdfs访问的唯一入口
<value>hdfs://hadoop1:8020</value>
</property>
</configuration>

2.hdfs-site.xml的配置

<configuration>
<property>
<name>dfs.permissions.superusergroup</name>
<value>hadoop</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/hadoop/hadoopdata/nn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/hadoop/hadoopdata/dn</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>hadoop1:50070</value>
<description>
       The address and the base port on which the dfsNameNode Web UI will listen.
</description>
</property>
<property>
<name>dfs.secondary.http-address</name>
<value>hadoop2:50090</value>
<description>
       The address and the base port on which the dfsNameNode Web UI will listen.
</description>
</property>
</configuration>

3、mapred-site.xml配置

这个配置复杂一点,因为开始只提供了一个mapred-site.xml.template模板，所以要新建一个mapred-site.xml文件
cp mapred-site.xml.template mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

4、yarn-site.xml配置

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop3</value>
</property>
<property>
<description>Classpath for typical applications.</description>
<name>yarn.application.classpath</name>
<value>
        $HADOOP_CONF_DIR,
        $HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,
        $HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,
        $HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,
        $HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*
</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value>/home/hadoop/hadoopdata/yarn/local</value>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value>/home/hadoop/hadoopdata/yarn/logs</value>
</property>
<property>
<name>yarn.log.aggregation-enable</name>
<value>true</value>
</property>
<property>
<description>Where to aggregate logs</description>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/home/hadoop/hadoopdata/log/hadoop-yarn/apps</value>
</property>
</configuration>

5.这里要创建几个文件夹，配置文件要用:

cd /home/hadoop
mkdir hadoopdata
cd hadoopdata
mkdir nn dn log yarn

6.添加JAVA_HOME到hadoop-env.sh文件里

export JAVA_HOME=/usr/java/jdk1.8.0_60
export HADOOP_HOME=/home/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

source hadoop-env.sh

五.格式化namenode

在namenode所在主机（我们本次所规划的hadoop1）执行命令
/home/hadoop/hadoop/bin/hdfs namenode -format

六.启动所有进程

我们的启动方式有两种，一种是单独启动，也就是分别进入到每一台主机，一个一个进程启动。另外一种是批量启动，也就是在任一主机上通过两个脚本就可以把所有进程全部拉起来。

1.单独启动

在/home/hadoop/hadoop/sbin目录下运行脚本
hadoop1:
cd /home/hadoop/hadoop/sbin
./hadoop-daemon.sh start namenode
./hadoop-daemon.sh start datanode
./yarn-daemon.sh start nodemanager
hadoop2:
cd /home/hadoop/hadoop/sbin
./hadoop-daemon.sh start secondarynamenode
./hadoop-daemon.sh start datanode
./yarn-daemon.sh start nodemanager
hadoop3:
cd /home/hadoop/hadoop/sbin
./hadoop-daemon.sh start datanode
./yarn-daemon.sh start resourcemanager
./yarn-daemon.sh start nodemanager
如果能通过jps命令显示以下类似的结果说明节点启动成功：
jps

3145 NodeManager
3018 NameNode
3068 DataNode
3183 Jps

2、 批量启动

分别进入hadoop1和hadoop3中的/root/hadoop-2.6.0-cdh5.10.1/sbin目录后，在hadoop1中执行./ start-dfs.sh，在hadoop3中执行./start-yarn.sh。

七.验证集群是否成功

1、 通过web界面来查看集群:

在浏览器中输入http://hadoop1:50070和http://hadoop3:8088，能够看到如下界面，说明机器启动成功

下面的命令表示分别在hadoop1和hadoop3中操作，具体的原因可以看以上四个配置文件

hadoop1:
http://hadoop1:50070
hadoop3:
http://hadoop3:8088

在这里插入图片描述

咕哒子1
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Centos6.7安装hadoop
qq_46806123的博客
10-30 1299
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 在Centos6.7安装Hadoop 前言 需准备文件： hadoop-2.6.0-cdh5.11.2.tar.gz, jdk-1.8.0-8u60-linux-x64.rpm 提示：以下是本篇文章正文内容 一、安装步骤 1.系统配置 进入权限 $su 密码 #~ 修改主机名 #vim /etc/sysconfig/network HOSTNAME=hadoop1(hadoop2、hadoop3等)。 配置ip地址 #v
大数据学习系列2-Centos6.7下搭建hadoop-2.6.5集群
wademylove的博客
08-28 562
集群规划 主机          IP                            安装的软件                   运行的进程 mini1        192.168.33.61         jdk、hadoop                 NameNode、ResourceManager、SecondaryNameNode mini2        19...
hadoop2.7.4 centos6.7 安装包
07-20
hadoop-2.7.4-centos-6.7安装包 hadoop hadoop hadoop
centos6.7搭建hadoop集群.md
mym_74的博客
09-08 281
文章目录通过vmware安装 centos关于vmware中计算机的名字centos网络配置查看和修改vmware的网络设置修改windows网关设置修改已安装的centos网络 IP,hostname, IP地址的映射关闭防火墙同步时间克隆虚拟机利用mobaxterm来连接ssh安装jdk和hadoop安装JDK安装hadoopSSH免秘钥设置配置HADOOP配置HADOOP将hadoop和ja...
CentOs6.7 + hadoop2.8 安装
暗黑世界
05-23 3086
一、环境与软件 首先，要安装centos操作系统，为系统安装配置ip、配置/etc/hosts文件下的相关主机信息。配置namenode和datanode之间的无ssh验证的登录方式。以及后面的必要软件(java\glibc、解压安装hadoop)这些东西都是参照《细细品味hadoop hadoop集群第五集》操作的。 然后，重点在于hadoop的一系列的配置文件的配制方法也基本可以参照这
CentOS 6.7 安装及基本配置，分布式系统搭建
12-27
在本文中，我们将深入探讨如何在服务器环境中安装和配置CentOS 6.7，以及如何利用它来搭建一个分布式系统。CentOS是一款基于Linux的开源操作系统，以其稳定性和可靠性而广受IT专业人士的喜爱，是搭建企业级服务器的...
centos6.7编译的hadoop2.7.2
09-24
在本文中，我们将深入探讨如何在CentOS 6.7操作系统上编译并安装Hadoop 2.7.2。Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发，用于处理和存储大规模数据集。它主要由两个核心组件构成：Hadoop ...
Hadoop集群详细配置文档
11-20
本次hadoop集群采用3台虚拟机协同完成，虚拟机采用CentOS6.7版本的镜像，hadoop的Cloudera的版本采用的5.13版本。更详细的需求配置以及虚拟机设置，网络配置，节点服务配置等信息请下载文档进行查看。
hadoop-2.7.4-with-centos-6.7.tar.gz
08-07
CentOS 6.7是一款基于Linux的服务器操作系统，因其稳定性而被广泛用于部署各种服务，包括Hadoop集群。这个压缩包表明，它已经过实际测试，可以在CentOS 6.7上顺利运行，对于学习和搭建Hadoop环境的人来说非常方便。 ...
hadoop-2.7.7-centos-6.7.tar.gz
08-08
总结来说，"hadoop-2.7.7-centos-6.7.tar.gz"这个压缩包提供了在CentOS 6.7上部署Hadoop 2.7.7的全套资源，使用者可以通过一系列配置和操作步骤，建立起一个运行在Linux环境下的分布式大数据处理系统，开启大数据...
centos7.4安装+hadoop2.7.6编译
05-08
centos7.4在VMware详细安装文档，以及hadoop2.7.6编译环境安装和编译。
CentOS7下Hadoop分布式集群搭建（友好型）
weixin_44283054的博客
03-19 610
a.虚拟机VMware16.0 b.操作系统CentOS-7-x86 c. hadoop3.0 d. jdk1.8 一. 环境基础 1.安装虚拟机：https://mp.weixin.qq.com/s/mkt3HjLgXmqxBP4_tucReQ。 2.安装CentOS7可以去官网下载，因为一些限制这里上传不了 3.hadoop3.0和jdk1.8 链接：https://pan.baidu.com/s/15ZlxfymyR8vsJZ7ucvBOkg 提取码：u32b 复制这段内容后打开百度网盘手机App，操
[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
.的博客
04-21 6111
红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）一、学习目标：使用红帽子RatHat6在虚拟机上搭建hadoop集群，包含3个节点，体验集群分布式。二、软件需求：三台虚拟机(这里使用VMware Workstation)、RatHat6版本的安装包三、实验前提：每台PC机已装有RatHat6系统，一台机命名为master作为namenode，另两...
CentOS6.7下的hadoop（HA）集群搭建
向晚歌
09-05 268
2台namenode   active standBy 怎么进行状态切换 每台namenode上都有zkfc zookeeper failover controller  部署zookeeper集群进行状态切换 当standBy收到active时不会立即把自己的状态变成active 为了防止脑裂，会完成一些步骤 1、杀掉active 的namenode(ssh kill -9) 2、等待ssh的...
centos7下hadoop的集群安装
_茂茂的博客
09-20 1514
通过前面https://www.bilibili.com/video/av31184748/的课程，我们已经配好了jdk、hosts、免密登陆等。 下面我们来进行hadoop集群的安装与部署 注：文章中的qipao请修改为自己的主机名或者ip地址 1.1首先我们去官网下载hadoop 下载好了，就是它 1.2上传hadoop 下面我们用winSCP或者mobaxterm把hadoop传输...
centos6下安装hadoop集群
luodong1501的博客
10-09 997
安装集群环境： 克隆虚拟机后： 1.恢复网卡： vi /etc/udev/rules.d/70-persistent-net.rules 删除etho，将eth1改为eth0 2.修改ip： vi /etc/sysconfig/network-scripts/ifcfg-eth0 删除：HWADDR=00:0C.... UUID:.. 修改：onboo...
CentOS6.7 安装hadoop2.7.5
weixin_33763244的博客
03-15 111
一、下载hadoop二进制包下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/二、环境准备1、安装JDK(1.8.0_151)2、安装openssh-clients注意： CentOS6.7 默认没有安装openssh-clients，导致系统没有ssh命令，而hadoop脚本中会使用ssh命令，如果不装openssh-...
在Redhat AS6上搭建Hadoop集群总结
张兆坤
05-08 3941
于本周末在家里的两台电脑上用Vmware+Redhat As6 + hadoop-0.21.0上搭建了一个3节点的Hadoop集群，虽说是原来已经搭建过类似的集群了，也跑过JavaAPI来操作HDFS与Map/reduce，但是这一次依然是受到挑战了，好些小细节，稍有遗漏就会有如坐过山车一般大起大落。故此，记下本次的操作的几个步骤，以供后续参考。 1、建3个VM的虚拟机，保证互联互通 IP a
CentOS6.7-hadoop环境搭建
向晚歌
09-05 165
1、安装时netconfig修改为自动连接 2、vi /etc/sysconfig/network-script/ifcfg-eth0 ONBOOT=yes BOOTPROTO=static IPADDR=192.168.159.100(net网段) NETMASK=255.255.255.0(子网掩码) GATEWAY=192.168.159.2(网关) DNS1=192.168.159.2 ...
Hadoop集群搭建，hive数据仓文档.docx
07-09
内容包括虚拟机的安装、CentOS系统的配置、网络设置、环境配置以及集群的详细配置步骤，同时提供了图文并茂的指导。" 在搭建Hadoop集群的过程中，首先需要在本地计算机上安装VMwareWorkstationPro，这是虚拟机软件...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值