CentOS7.0配置Hadoop真分布集群详细教程

最新推荐文章于 2021-10-26 23:32:12 发布
最新推荐文章于 2021-10-26 23:32:12 发布
阅读量392 收藏
点赞数 2
分类专栏： Hadoop 文章标签： hadoop centOS 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36851515/article/details/89227303
版权

一、准备阶段

安装两台centOS 7.0虚拟机：centOS7.0 无图形界面版

一台做master，一台做slave

 

二、配置网络

注：在本机上配置真分布模式，虚拟机的网络适配器不用设置为桥接模式，NAT模式即可。

1、联网

启动centOS

命令：ip addr  # 查看设置IP地址的文件名

命令：vi /etc/sysconfig/network-scripts/ifcfg-ens33  # 编辑ifcfg-ens33配置文件（每台虚拟机文件名有可能不一样）

文件修改内容：

ONBOOT=yes  #开启自动启用网络连接

重启网络，命令：service network restart (若无效，可以重启虚拟机)

输入命令：ip addr  # 查看ip地址

我的master：192.168.98.135

我的slave：192.168.98.134

 

三、虚拟机IP映射

1、将所有虚拟机的IP写入/etc/hosts文件
命令：vi /etc/hosts
添加内容：（两台虚拟机都要修改）

192.168.98.135    master
192.168.98.134    slave

2、修改主机名称
hostnamectl set-hostname master  # 在mster主机执行
hostnamectl set-hostname slave  # 在slave主机执行

3、重启两台虚拟机，命令：reboot

4、关闭防火墙

查看防火墙状态，命令：firewall-cmd --state
关闭防火墙，命令：systemctl stop firewalld && systemctl disable firewalld

四、ssh免密登录

先修改一下配置文件，允许root用户登录

命令：vi /etc/ssh/sshd_config

修改内容：

PermitRootLogin yes（把#号去掉）

1、生成公钥

命令：

cd ~/.ssh                  # 如果没有该目录，先执行一次ssh localhost
rm ./id_rsa*               # 删除之前生成的公匙（如果有）
ssh-keygen -t rsa          # 一直按回车就可以
cat ./id_rsa.pub >> ./authorized_keys    # 让 master 节点需能无密码 SSH 本机

2、把生成认证的key，发送给各个slave节点（只需在master主机执行）

命令：scp /root/.ssh/id_rsa.pub root@slave:/root/.ssh/authorized_keys

命令：chmod 644 /root/.ssh/authorized_keys    #  在每个虚拟机设置权限

3、测试ssh免密登录

命令：ssh slave

退出登录命令：exit

 

五、下载安装JDK

下载wget：yum -y install wget

1、下载jdk，命令：

wget https://download.oracle.com/otn-pub/java/jdk/8u201-b09/42970487e3af4f5aa5bca3f542482c60/jdk-8u201-linux-x64.tar.gz

如果下载不了，可以在windows下载好后传输到虚拟机，有很多工具，这里不做推荐了

2、解压: tar -zxvf jdk-8u201-linux-x64.tar.gz -C /usr/local/

3、配置JDK环境变量
命令：vi ~/.bashrc

在文件顶部添加内容：

# Java set
export JAVA_HOME=/usr/local/jdk1.8.0_201
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$PATH


六、下载安装hadoop3.1.0（版本自己选择，配置基本相同）

1、下载hadoop：wget http://archive.apache.org/dist/hadoop/core/hadoop-3.1.0/hadoop-3.1.0.tar.gz

2、解压：tar -zxvf hadoop-3.1.0.tar.gz -C /usr/local/

解压后Hadoop 3.1.0根目录为/usr/local/hadoop-3.1.0

3、进入/usr/local目录，修改文件夹名，命令：mv hadoop-3.1.0 hadoop

4、配置Hadoop环境变量

命令：vi ~/.bashrc

添加内容：

# Hadoop set
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_ROOT_LOGGER=INFO,console
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"


七、修改Hadoop配置文件

命令：cd /usr/local/hadoop/etc/hadoop/

1、vi hadoop-env.sh

添加：export JAVA_HOME=/usr/local/jdk1.8.0_201

2、vi workers

删除localhost

加入slave虚拟机名称（一行一个）

slave

注：下面的配置均写入在<configuration></configuration>内

3、vi core-site.xml

    <property>
        <name>fs.checkpoint.period</name>
        <value>3600</value>
    </property>

    <property>
        <name>fs.checkpoint.size</name>
        <value>67108864</value>
    </property>
    <!-- 指定hdfs的nameservice为master -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!-- 指定hadoop临时目录，自行创建 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/data/tmp</value>
    </property>

4、vi hdfs-site.xml

<property>
    <name>dfs.relication</name>
    <value>1</value>
</property>

<property>
   <name>dfs.namenode.name.dir</name>
   <value>file:/usr/local/hadoop/data/dfs/name</value>
</property>

<property>
   <name>dfs.datanode.data.dir</name>
   <value>file:/usr/local/hadoop/data/dfs/data</value>
</property>

<property>
<name>dfs.namenode.http-address</name>
<value>master:50070</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>

<property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:/usr/local/hadoop/data/dfs/checkpoint</value>
</property>

<property>
    <name>dfs.namenode.checkpoint.edits.dir</name>
    <value>file:/usr/local/hadoop/data/dfs/edits</value>
</property>

5、vi mapred-site.xml

<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

 <property>
    <name>mapred.job.tracker</name>
    <value>master:10020</value>
</property>

<property>
        <name>mapreduce.application.classpath</name>
        <value>
            /usr/local/hadoop/etc/hadoop/*,
            /usr/local/hadoop/share/hadoop/common/*,
            /usr/local/hadoop/share/hadoop/common/lib/*,
            /usr/local/hadoop/share/hadoop/hdfs/*,
            /usr/local/hadoop/share/hadoop/hdfs/lib/*,
            /usr/local/hadoop/share/hadoop/mapreduce/*,
            /usr/local/hadoop/share/hadoop/mapreduce/lib/*,
            /usr/local/hadoop/share/hadoop/yarn/*,
            /usr/local/hadoop/share/hadoop/yarn/lib/*
        </value>
</property>

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
</property>

6、vi yarn-site.xml

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.98.135</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandle</value>
</property>

<property>
    <name>yarn.resourcemanager.resource-tarcker.address</name>
    <value>master:8025</value>
</property>

<property>
    <name>yarn,resourcemanager.scheduler.address</name>
    <value>master:8030</value>
</property>

<property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8040</value>
</property>

<property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
</property>
<!-- 指定ResourceManager Http监听的节点 -->
<property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
</property>

7、vi log4j.properties
# 在文件最后面加上以下语句

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

8、先进入该目录：cd /usr/local/hadoop/hadoop-3.1.0/sbin

注：下面修改内容在四个文件头部添加

# vi start-dfs.sh
添加内容：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
# vi stop-dfs.sh
添加内容：
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
# vi start-yarn.sh
内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
# vi stop-yarn.sh
内容：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

八、将配置文件、JDK和hadoop传输给slave虚拟机并格式化节点

# 利用scp命令将配置文件、JDK及hadoop安装文件复制到slave虚拟机相应位置

1、JDK（/usr/local/java）

scp -r /usr/local/jdk1.8.0_201/ slave:/usr/local/

2、Hadoop （/usr/local/hadoop）

scp -r /usr/local/hadoop/ slave:/usr/local/hadoop

3、环境配置文件（~/.bashrc），这个也可以不用传输，由于内容较少，可以直接在slave节点上配置。

scp ~/.bashrc slave:~/

4、在各子节点刷新环境变量

命令：source ~/.bashrc

注:刷新环境后，如果出现大部分命令不能使用，则说明环境配置错误，一般是路径错了，使用以下命令可以重新打开环境配置文件进行修改。

export PATH=/usr/lib64/qt-3.3/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin

5、格式化节点

命令：hdfs namenode -format

九、启动
1、启动节点
命令：start-all.sh
2、查看节点情况
命令：jps
3、访问网页地址

http://192.168.98.135:50070
http://192.168.98.135:8088
http://192.168.98.134:8042（slave虚拟机）

异常问题

Centos7 虚拟机IP 变动解决方法

 

参看资料

Centos7搭建hadoop3.1的完全分布式环境

学不会编程的小男孩
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop全分布模式环境搭建[超详细]
12-03
自己总结的Hadoop全分布模式环境搭建。
Hadoop安装过程中的问题
qq_35906473的博客
06-29 7814
参考： Hadoop3.0完全分布式集群搭建方法（CentOS7+Hadoop3.2.0） 我在虚拟机上安装了3台centos7,并且以普通用户安装hadoop于 /usr/local下 1.在首次启动hadoop,格式化hadoop namenode -format 时 ，提示如下错误： 错误总结： （1）/tmp 文件夹下权限不足，开放 /tmp 文件夹权限即可 sudo ...
Centos7搭建Hadoop3.1.3完全分布模式
普通Gopher
12-16 1919
详细搭建可以参考我的Hadoop2.8.0安装 准备 本文下载的是3.1.3版本的Hadoop 关闭防火墙 systemctl stop firewalld setenforce 0 虚拟机的准备 安装3个虚拟机并实现ssh免密码的登录 安装3个centos7虚拟机 安装3个机器，机器分别叫master slave1 slave2 在/etc/hostname下修改主机名 其他两台也是...
centos7全分布模式安装hadoop--hadoop安装系列之二
wangli的博客
04-03 1449
一、实验目标      1、学会全分布集群模式安装hadoop软件      2、学会安装hadoop软件过程中的各种跳坑姿势 二、实验环境     三台机器的网络主机配置如下： 192.168.10.166 master 192.168.10.167 slave01 192.168.10.168 slave02 再次梳理一下安装前置条件：   1、安装三台centos7的服
centos7 安装hadoop：伪分布式配置、全分布模式配置
sunweijm的博客
10-31 1336
1. centos 新建hadoop用户 #切换到root用户 [sunwei@vdevops ~]$ su #增加一个名为 hadoop 的用户 [root@vdevops ~]# useradd -m hadoop -G root -s /bin/bash #给hadoop新建一个密码 [root@vdevops ~]# passwd hadoop #为hadoop用户增加管理员...
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
Centos7.0系统配置Hadoop集群（以3节点为例）
06-16
Centos7.0系统下配置Hadoop集群（以3节点为例）超详细过程
CentOS下Hadoop-0.20.2集群配置文档.docx
最新发布
09-18
在配置Hadoop-0.20.2集群于CentOS系统时，首先需要了解集群的基本网络环境。在这个案例中，集群由三个节点组成：一个NameNode和两个DataNode。它们通过局域网相互连接，可以相互ping通。每个节点都运行着CentOS操作...
centos安装配置hadoop超详细过程.docx
05-19
centos安装配置hadoop超详细过程.docx
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
09-18
VMware上CentOS7.0+Hadoop3.1伪分布式搭建
Hadoop学习之Hadoop完全分布式集群安装
AlienTech for better life!~
12-16 1584
注：本文的主要目的是为了记录自己的学习过程，也方便与大家做交流。转载请注明来自： http://blog.csdn.net/ab198604/article/details/8250461   要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，可以将hadoop简化地想象成一个小软件，通过在各个物理节点上安装这个小软件，然后将其运行起来
Ubuntu16.04搭建hadoop真分布
huaziran的博客
10-26 1150
前提条件 有三台Ubuntu虚拟机虚拟机（可克隆实现） 提示：在搭建之前先创建快照 安装ssh获取远程连接 以下安装均在普通用户（即：非root用户）下进行，例如：用户名为hadoop的普通用户 $ sudo apt-get install openssh-server 重启SSH服务 $ sudo /etc/init.d/ssh restart xshell连接虚拟机 查看ip地址 ifconfig 打开xshell 连接成功 三台虚拟机都连接 映射ip与主机名 修改主机名称为node_
Hadoop分布式集群搭建（三台虚拟机实践）
weixin_34344677的博客
04-07 367
由于之前都在有道云笔记中记录：分享链接： http://note.youdao.com/noteshare?id=2b32a9edab38f6262354d1f8e4b0e748&sub=9D561AD084E449AB8A96B273DEF07CCC 转载于:https://www.cnblogs.com/ailsa-mei/p/8734477.html...
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4327
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
远程调试提交到hadoop的jar包
JiajunBernoulli的博客
01-31 513
我们通常可以用hadoop jar来提交自己的jar包 hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount /user/root/input /user/root/output 在hadoop脚本中加入两行，打印类路径和java命令 可以看到hadoop jar本质上是对java命令的封
Hadoop 全分布配置还算蛮详细的步骤整理
m0_37119822的博客
04-26 801
Fedora下的Hadoop 全分布配置详细步骤整理（当前配置环境：虚拟机：vmware workstation 11系统：fedora  （其实fedora和ubuntu操作步骤一模一样，就是在给新建用户分配权限那一步有点不一样之外） 一台从机fedora中已安装jdk1.8.0_11和hadoop-1.2.1，并已配置环境变量正式开始前，可以先拍摄快照或者压缩fedora进行备份，本人觉得这是...
Hadoop集群搭建 三台虚拟机
cross_SC的博客
04-26 978
基础操作链接 https://blog.csdn.net/Mr_wuliboy/article/details/85254667 问题1：useradd -s /bin/bash -d /home/had_user -m had_user -g hadoop 的释义 -s：指定用户登入后所使用的shell； -m：自动建立用户的登入目录； -g<群组>：指定用户所属的群组； -d&lt...
centos7搭建hadoop完全分布式（详细过程）
weixin_44546992的博客
05-02 1万+
centos7安装hadoop（详细过程） 本实验最终的结果是使用四台虚拟机，搭建hadoop集群 一、 准备条件 一台centos7虚拟机（我使用的软件是vm） 文件传输工具：Xftp（vm有vm tool但是不太好用） 远程连接工具：Xshell（与命令行界面类似，但是支持复制粘贴） 二、修改ip为固定 我当时创建的虚拟机采用的网络连接方式是NAT模式，这样比较适合与外网连接。如果当时选...
解决在命令行中出现/usr/local/hadoop/libexec/hadoop-functions.sh: 行 1185: dirname: 未找到命令
热门推荐
someby的博客
02-22 1万+
问题描述： 在部署了hadoop后，进入到终端和输入source  ~/.bashrc后出现 hadoop已经安装了很久了，都没有遇到这样的问题 ，突然出现，有点猝不及防。 问题分析与排查： 1.出现这个问题的时候，我第一反应是我自己在配置其他软件的环境变量的时候修改了配置文件，在不注意的情况下输入了其他的字符，导致文件的中的变量有所变化，但是我打开环境变量的配置文件的时候，没有检查到...
centos7配置hadoop伪分布
03-16
接下来，需要修改Hadoop配置文件，可以使用以下命令打开配置文件： ``` sudo nano /etc/hadoop/conf/hadoop-env.sh ``` 将以下行添加到文件末尾： ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.-openjdk ``` 接...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值