【保姆级教程】hadoop 3.x 环境配置——入门篇

最新推荐文章于 2024-05-10 15:13:46 发布
最新推荐文章于 2024-05-10 15:13:46 发布
阅读量6.1k 收藏 29
点赞数 5
分类专栏： 环境配置 文章标签： hadoop big data 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44259984/article/details/121355692
版权
本文详细介绍了如何在CentOS 7环境中配置Hadoop，包括虚拟机、云服务器的基础设置、用户权限、JAVA环境、SSH免密登录、hosts映射、伪分布式和完全分布式集群搭建，以及常见问题的解决方案。
摘要由CSDN通过智能技术生成

文章目录

(一) Hadoop环境配置

author: CQU_dyd, latest update: 2021/7/14

文档说明：

  • 已完成伪分布式集群搭建和完全分布式集群搭建的过程演示
  • 待补充虚拟机配置流程（这次主要使用的是云服务器，所以没加这部分内容）

本文档为作者在大三下学期初次接触分布式计算时的记录文档，基本涵盖了作者在配置环境时踩过的所有坑，能力有限，若有疏漏还望大家批评指正。



1 配置服务器

可以选择虚拟机或云服务器，二者配置过程基本相同，当然，不管是虚拟机还是云服务器，系统都选用centOS 7版本。

1.1 虚拟机

配置过程略。


1.2 云服务器

本指导书主要使用华为弹性云服务器，配置过程和阿里云、腾讯云类似，根据个人需要选择基本配置（例如系统版本、磁盘大小、弹性公网ip，etc.）。

配置过程比较简单，此处略过。


1.3 服务器基础配置总览

  • 系统：CentOS 7.6 64bit

  • java版本编号：1.8.0_261

  • hadoop版本编号：3.2.2

本文档所需的离线安装包获取链接（度盘链接，提取码：c34h）：java+hadoop+spark离线安装包-百度云



2 配置用户

创建用户，并设置密码（如cqu123456.）：

useradd -m hadoop -s /bin/bash	# 注意，如果之前在/home/路径下有hadoop文件夹，一定要先移除再创建
passwd hadoop

给hadoop用户配置权限，打开配置文件：

visudo

之后在如图所示位置添加对应语句：

切换用户（接下来的所有操作都要在hadoop用户下进行）：

su hadoop # 注意，不要使用root用户，以下全部切换到hadoop用户下操作

（虚拟机用户可不做）以防root用户被暴力破解，这里需要禁止root用户远程登录。

sudovim /etc/ssh/sshd_config	# 打开配置文件

快捷键shift+g跳转到最后一行，找到 PermitRootLogin，将no改为yes：

PermitRootLogin no	# 原本是yes

修改后保存退出，重启service sshd，会要求输入root的密码，根据提示输入即可：

systemctl restart sshd

如果需要切换回root用户则可以先登录hadoop用户再切换：

# 登录hadoop用户之后
su root

这时可以重启服务器，验证一下root用户是否被禁止登录。打开Xshell测试root连接，如果被拒绝访问则代表设置更改成功。



3 配置JAVA

3.1 更换yum源

安装JDK，安装之前可以更换一下yum源：

cd /etc/yum.repos.d/	# 切换到yum仓库
sudo mv CentOS-Base.repo CentOS-Base.repo.backup	# 备份原repo文件
sudo wget -O /etc/yum.repos.d/CentOS-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo	# 下载阿里云的repo文件
sudo mv CentOS-7.repo CentOS-Base.repo	# 设为默认repo文件（更改命名）
yum clean all 
yum makecache

出现Metadata Cache Created即代表yum源更换成功。

这次主要用到的配置java环境的方法是离线安装（如自己已成功配置java可略过此部分内容）。



3.2 安装JDK

3.2.1 推荐：离线安装

使用WinSCP等远程连接软件把需要用的安装文件上传至云服务器，离线安装jdk-8u261-linux-x64.rpm文件。

cd /home/java	# 进入java安装文件（rpm文件）所在目录
sudo yum install jdk-8u261-linux-x64.rpm	# 回车后根据提示输入y继续
whereis java	# 查找java软连接，默认链接是/usr/java/，记住这个地址，后面有用

检查java安装路径是否正确：

cd /usr/java/
ls	# 查看/usr/java/下的内容

如果看到有jdk1.8.0_261-amd64这个文件夹，继续下一步。

配置环境变量：

vim ~/.bashrc # vim编辑配置文件

打开文件后在文件末尾添加如下变量（如果用的是我提供的安装包，则不用另外查找安装路径，直接复制这段到bashrc文件中）：

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64
export JRE_HOME=/usr/java/jdk1.8.0_261-amd64/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

按下esc退出编辑，输入:wq!，使环境变量生效：

source ~/.bashrc

测试：

java -version

如果输出了正确的java版本（这里的版本号是1.8.0_261），至此，java配置过程已结束。



3.2.2 不推荐：在线安装

这种方法安装的java版本后缀为291，后经验证这个版本的java和hadoop-3.2.2不太兼容，但不影响使用，此处仅演示一下在线下载的方法。

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel	# 在线安装

配置环境变量：

vim ~/.bashrc # vim编辑配置文件

打开文件后在文件最后添加如下变量（这里需要自己查找java的安装路径）：

export JAVA_HOME={/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64}
export JRE_HOME={/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.x86_64/jre}
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

注意，{}处填入实际的java包路径（最终路径不包含括号），可通过如下语句查找：

rpm -ql java-1.8.0-openjdk-devel | grep '/bin/javac'

最后使环境变量生效：

source ~/.bashrc

测试：

java -version


4 配置SSH

因为集群、单节点模式都需要用到 ssh登陆，每次登陆ssh都要输入密码，非常麻烦 ，可以通过生成公钥来实现免密码登陆。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys

一个简单的测试，如果可以不用输入密码则代表配置成功（第一次测试ssh会要求输入yes/no，输入yes即可）：

ssh localhost


5 更改hosts

为了避免在修改配置文件的过程中频繁地使用主机ip，需要加入一个主机映射，用一个好记的名称代表主机的ip。

格式：ip [自己定义的映射名称]

打开hosts文件：

su hadoop 	# 保证当前操作的用户是自己创建的hadoop用户
sudo vim /etc/hosts

编辑hosts文件如下（以前的全部删除，改成下面这样。这里将当前主机ip映射为master，当然也可以自己定义，主要是为完成后续的集群配置做铺垫）：

127.0.0.1 localhost 
192.168.0.200 master # 必须使用当前主机的“内网”IP


6 搭建Hadoop集群

6.1 安装Hadoop

将上传到服务器的hadoop安装包（或者从命令行在线下载）解压，解压到/usr/local目录下：

6.1.1 推荐：离线下载方法

先使用WinSCP等远程软件将所需安装包上传至指定位置（这里是上传到了/home/hadoop路径下），然后解压：

cd /home/hadoop		# 进入自己的hadoop压缩包所在路径
sudo tar -zxf hadoop-3.2.2.tar.gz -C /usr/local

修改文件夹名称：

cd /usr/local/	# 进入hadoop安装位置
sudo mv hadoop-3.2.2/ hadoop

配置环境变量：

vim ~/.bashrc

在文件中添加：

#在最后添加
export HADOOP_HOME={/usr/local/hadoop}	# 填入实际的hadoop路径，记得把括号删掉
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 可与原先的PATH进行整合

按下esc退出编辑，输入:wq!，使环境变量生效：

source ~/.bashrc

修改文件权限（即让hadoop用户操作hadoop）：

cd /usr/local/ # 切换到解压目录下 
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

测试，如果配置正确则会输出正确的版本号：

cd /usr/local/hadoop # 切换到hadoop目录下 
./bin/hadoop version # 输出hadoop版本号

如果能输出正确的版本号（这里是3.2.2），至此，hadoop的安装过程结束，如需在线下载其他版本可看“在线下载方法”一节。



6.1.2 暂不推荐：在线下载方法

在线获取hadoop-3.2.2安装包：

sudo wget -O hadoop-3.2.2.tar.gz https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-3.2.2/hadoop-3.2.2.tar.gz --no-check-certificate

修改文件夹名称：

cd /usr/local/	# 进入hadoop安装位置
sudo mv hadoop-3.2.2/ hadoop

配置环境变量：

vim ~/.bashrc

在文件中添加：

#在最后添加
export HADOOP_HOME={/usr/local/hadoop}	# 填入实际的hadoop路径，记得把括号删掉
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin # 可与原先的PATH进行整合

按下esc退出编辑，输入:wq!，使环境变量生效：

source ~/.bashrc

修改文件权限（即让hadoop用户操作hadoop）：

cd /usr/local/ # 切换到解压目录下 
sudo chown -R hadoop:hadoop ./hadoop # 修改文件权限

测试，如果配置正确则会输出正确的版本号：

cd /usr/local/hadoop # 切换到hadoop目录下 
./bin/hadoop version # 输出hadoop版本号


6.2 搭建伪分布式环境

6.2.1 配置hadoop-env.sh

在hadoop安装目录下vim打开hadoop-env.sh：

cd etc/hadoop/
vim hadoop-env.sh

在文件中加入如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64	# 这里必须和bashrc中的设置保持一致
export HADOOP_HOME=/usr/local/hadoop # hadoop安装位置
# 定义HDFS和yarn在hadoop用户上运行
export	HDFS_NAMENODE_USER=hadoop
export	HDFS_DATANODE_USER=hadoop
export	HDFS_SECONDARYNAMENODE_USER=hadoop
export	YARN_RESOURCEMANAGER_USER=hadoop
export	YARN_NODEMANAGER_USER=hadoop
# 定义hadoop的log路径和lib路径（若无此路径则要另外创建）
export	HADOOP_PID_DIR=/usr/local/hadoop/var/lib/hadoop
export	HADOOP_LOG_DIR=/usr/local/hadoop/var/log/hadoop

保存后，创建集群所需的lib和log目录：

su hadoop	# 确保当前操作是在hadoop用户下
mkdir -p /usr/local/hadoop/var/lib/hadoop
mkdir -p /usr/local/hadoop/var/log/hadoop

给子目录的读写操作授权（如果hadoop用户在/usr/local/hadoop/var/log/hadoop路径下不加sudo进行创建文件/删除文件操作没有报错，则可以跳过这一步）：

sudo chmod -R  777  /usr/local/hadoop/var/lib/hadoop
sudo chmod -R  777  /usr/local/hadoop/var/log/hadoop


6.2.2 配置core-site.xml

用vim打开core-site.xml：

cd etc/hadoop/
vim core-site.xml

打开后添加以下代码：其中master是主机映射名称（名称映射可以在/etc/hosts中修改），注意，如果使用的是云服务器，务必检查安全组是否放通了相应的端口，最好是放通8000-65535范围内的全部端口，方便后续操作。

 <configuration>
    <property>
       <name>hadoop.tmp.dir</name>
       <value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <!-- <value>hdfs://localhost:9000</value> -->
    </property>
</configuration>


6.2.3 配置hdfs-site.xml

用vim打开配置文件：

cd etc/hadoop/
vim hdfs-site.xml

打开后添加：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
    <property>
  		<name>dfs.namenode.name.dir</name>
  		<value>file:/usr/local/hadoop/name</value>
	</property>
	<property>
  		<name>dfs.datanode.data.dir</name>
  		<value>file:/usr/local/hadoop/data</value>
	</property>
</configuration>

检查相关目录（tmp、name、data）是否存在：

ls /usr/local/hadoop/

如果没有则手动创建相关目录：

su hadoop	# 确保当前用户是hadoop
mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/name
mkdir -p /usr/local/hadoop/data

给子目录的读写操作授权（如果文件夹可以正常读写则跳过这步）：

sudo chmod -R  777 /usr/local/hadoop/tmp
sudo chmod -R  777 /usr/local/hadoop/name
sudo chmod -R  777 /usr/local/hadoop/data


6.2.4 配置mapred-site.xml

打开文件操作略。

在文件中加入：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>  
    <!-- 原2.9.x版本可以不设置  -->
    <property>
        <name>mapreduce.application.classpath</name>
        <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>


6.2.5 配置yarn-site.xml

打开文件操作略。

在文件中加入：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
    </property>
</configuration>


6.2.6 格式化HDFS

在hadoop安装目录下运行，一个集群只需要格式化一次（限首次启动hadoop集群时使用，如果是因为结点进程挂掉而重新格式化，必须把之前的缓存目录/日志目录全部清除才行，详细操作流程见“常见问题及解决办法”一节）：

cd /usr/local/hadoop
bin/hdfs namenode -format

接下来会输出很多信息，看到Storage directory /usr/local/hadoop/name has been successfully formatted.就代表格式化HDFS成功。



6.2.7 开启HDFS

一次性启动HDFS和yarn：

 sbin/start-all.sh

也可以选择开启部分服务（仅开启HDFS），即：sbin/stop-dfs.sh，对应的关闭指令为：sbin/stop-dfs.sh。

如果是sbin/start-all.sh，则启动集群后会出现5个新的进程，加上jps一共6个进程被完全开启且无报错，则代表伪分布式集群启动成功：

jps	# 查看进程

成功开启HDFS和yarn后的全部进程如下图所示：

打开浏览器输入网址（格式：主机ip:端口号，默认端口为9870）访问HDFS：例如，124.70.48.162:9870

能打开这个页面就代表HDFS的web功能可以正常使用：
在这里插入图片描述



6.2.8 测试HDFS（可略）

在HDFS系统上创建相关目录：

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root
bin/hdfs dfs -mkdir /input

上传测试文件至HDFS系统指定目录（这里的目录是input）：

bin/hdfs dfs -put etc/hadoop/*.xml /input

将配置文件上传至input文件夹中（这里上传的是MapReduce的jar包，参数jar指定当前执行文件的类型），并指定输出文件为output（注意output文件夹必须还未被创建，若已被创建则会报错）：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar grep /input /output 'dfs[a-z.]+'
bin/hdfs dfs -cat /output/*

复制到本地查看:

bin/hdfs dfs -get /output output
cat output/*


6.2.9 关闭HDFS

一次性关闭HDFS和yarn：

sbin/stop-all.sh


6.2.10 开启yarn
sbin/start-yarn.sh


6.2.11 关闭yarn
sbin/stop-yarn.sh

至此，伪分布式系统配置过程已全部展示完毕。







6.3 搭建完全分布式环境

配置完全分布式的过程和伪分布式基本一致，这里只重点说明一下有区别的地方，建议在查看本节之前就已经过完伪分布式的配置流程。

如果想跳过一些不必要的伪分布式配置步骤，请保证至少过完“更改hosts”这节之前的内容，并且完成了hadoop的安装。

6.3.1 修改主机名

分别登录三台主机，更改主机名（这步操作的作用是便于区分不同主机，也可以不改）：

su hadoop	# 保证当前用户为hadoop用户
sudo vim /etc/hostname	# 打开hostname配置文件

然后删除原文件中的主机名称，改成自己需要的主机名称（例如，对于master主机，将名称修改为“master”；对于slave01主机，将名称修改为“slave01”），修改完之后输入:wq!，保存退出。

最后重启主机，使重命名操作生效：

sudo reboot

重启之后，当前操作用户又变成了root，切换到hadoop用户继续后面的操作：

su hadoop


6.3.2 修改hosts

本次主要配置了3台云服务器（可根据需要配置多台），其中master结点一台，slave结点两台。

不同主机的公网ip和内网ip如下（以我在华为云上创建的主机为例）：

主机名称公网ip内网ip
master124.70.48.162192.168.0.200
slave01114.116.251.49192.168.0.80
slave02119.3.221.111192.168.0.55

因为要实现跨主机相互访问，如果每次使用ip来访问不同主机会很麻烦，所以这里对不同主机的hosts文件进行了修改（主要涉及的操作是：加入其他主机的公网ip，并修改当前主机的名称映射）。

注意，对于云服务器，当前主机访问自身使用的是内网ip，访问其他主机使用的是公网ip；而对于虚拟机，没有内网ip和公网ip之分，填写当前虚拟机的ip即可。

打开hosts配置文件（不同主机hosts所在路径相同）：

su hadoop	# 保证当前操作用户为hadoop
sudo vim /etc/hosts

接下来就是修改hosts中的内容（三台主机均需要修改）：

  • master主机

    在master主机的hosts文件中，加入master主机的内网ip和映射名称，并添加两个slave主机的公网ip和对应的映射名称，修改后的hosts文件内容示例如下（修改时请将注释内容删除）：

    127.0.0.1 localhost 
192.168.0.200 master master		# master必须用内网IP 
114.116.251.49 slave01 slave01 	# slave01用外网IP
119.3.221.111 slave02 slave02 	# slave02用外网IP

  • slave主机（两个slave主机操作相同，这里只展示slave01的相关操作）

    在slave主机的hosts文件中，加入slave主机（当前主机）的内网ip和映射名称，并添加master主机的公网ip和映射名称，修改后的hosts文件内容示例如下（修改时请将注释内容删除）：

    127.0.0.1 localhost 
192.168.0.80 slave01 slave01 	# slave01用内网IP
124.70.48.162 master master 	# master必须用外网IP

当前主机修改完后，保存退出。



6.3.3 修改workers（在master节点上修改）

这一步是指定所有工作结点，配置文件在hadoop安装目录下的etc/hadoop目录中：

cd /usr/local/hadoop	# 进入hadoop的安装目录
vim etc/hadoop/workers	# 打开workers的配置文件

打开文件后删除原有内容，将如下内容复制进去：

master
slave01
slave02
推荐使用：跨主机SSH免密登录（RSA加密公钥）

这一步将在主节点上操作。虽然我目前还不太明白RSA加密的原理，但考虑到安全性问题，还是建议使用这个方法配置免密登录。

编辑免密列表：

cd ~/.ssh/
#编辑免密列表
vi node-list.txt

在打开的文件中输入如下内容：

master
slave01
slave02

将RSA公钥指纹加入到known_hosts文件中:

ssh-keyscan -t rsa -f node-list.txt > ~/.ssh/known_hosts

将免密配置推送至子节点，即将master主机上的 ~/.ssh 配置文件复制到子节点上（推送时需要输入slave主机的hadoop密码）：

scp -r ~/.ssh hadoop@slave01:~
scp -r ~/.ssh hadoop@slave02:~

测试免密登录slave01（slave02同理）：

ssh slave01

如果不需要使用密码即可远程登录slave主机，则代表SSH免密登录设置成功（输入exit返回master主机）。

暂不推荐：跨主机SSH免密登录（SCP直传公钥）

这段内容参考了大三上学期原大数据助教提供的实验指导书，如果已通过RSA加密方法配置了免密登录可以跳过此节。

先验证当前主机是否可以本地免密登录：

ssh localhost

如果不需要输入密码则继续下一步，否则请回到之前的 “配置SSH” 章节重新配置ssh。

为了让master可以免密登录slave01和slave02，需要将master主机的密钥传给两个slave主机（ id_rsa.pub文件）。

在master上通过scp传递公钥：

scp ~/.ssh/id_rsa.pub hadoop@slave01:/home/hadoop/

在slave01上加入验证（slave02同理）：

ls /home/hadoop/ # 查看master传送过来的 id_rsa.pub文件
# 将master公钥加入免验证：
cat /home/hadoop/id_rsa.pub >> ~/.ssh/authorized_keys rm /home/hadoop/id_rsa.pub

测试：

  • 在master主机上：

    ssh slave01

    如果可以不需要输入密码就能登录slave主机就表示配置成功。

  • 验证成功后切换回master：

    ssh master 	# 从slave主机登录master要输入master主机的hadoop用户密码


6.3.4 master节点配置

如果已构建并测试过伪分布模式的机器，先将 Hadoop 所有进程全部停止，清理掉所有伪分布模式下的缓存及日志内容。

终止进程命令（注意要在hadoop运行目录下，如/usr/local/hadoop）：

sbin/stop-all.sh

清理掉所有伪分布模式下的缓存及日志内容（只是清除内容，原目录保留）：

su hadoop	# 确保当前用户在hadoop用户下
rm -rf /usr/local/hadoop/tmp/*
rm -rf /usr/local/hadoop/name/*
rm -rf /usr/local/hadoop/data/*
rm -rf /usr/local/hadoop/var/lib/hadoop/*
rm -rf /usr/local/hadoop/var/log/hadoop/*


1）配置hadoop-env.sh

在master的hadoop安装目录下vim打开hadoop-env.sh：

cd /usr/local/hadoop
vim etc/hadoop/hadoop-env.sh

在文件中加入如下内容（如果之前做过伪分布式，其中的内容几乎不用修改）：

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64	# 这里必须和bashrc中的设置保持一致
# 定义HDFS和yarn在hadoop用户上运行
export HDFS_NAMENODE_USER=hadoop
export HDFS_DATANODE_USER=hadoop
export HDFS_SECONDARYNAMENODE_USER=hadoop
export YARN_RESOURCEMANAGER_USER=hadoop
export YARN_NODEMANAGER_USER=hadoop
# 定义hadoop的log路径和lib路径（若无此路径则要另外创建）
export	HADOOP_PID_DIR=/usr/local/hadoop/var/lib/hadoop
export	HADOOP_LOG_DIR=/usr/local/hadoop/var/log/hadoop
#HBase 集成配置
#export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/soft/hbase-2.3.4/lib/*


2）配置mapred-env.sh

打开文件：

vim /usr/local/hadoop/etc/hadoop/mapred-env.sh

打开后在文件开头添加：

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64


3）配置yarn-env.sh

打开文件：

vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

打开后在文件开头添加：

export JAVA_HOME=/usr/java/jdk1.8.0_261-amd64


4）配置core-site.xml

打开文件：

vim /usr/local/hadoop/etc/hadoop/core-site.xml

打开后在文件中添加（如果之前做过伪分布式，其中的内容几乎不用修改）：

<configuration>
    <property>
       	<name>hadoop.tmp.dir</name>
       	<value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <!-- 配置主节点 HDFS 位置：master -> 切换成自己主节点机器的名称 -->
        <value>hdfs://master:9000</value>
    </property>
</configuration>


5）配置hdfs-site.xml

打开文件：

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

完全分布式的HDFS配置文件和伪分布式的HDFS配置文件略有区别，主要涉及的内容是修改dfs结点数量、指定SecondaryNameNode所在主机、指定SecondaryNameNode工作目录，打开后在文件中添加：

<configuration>
	<property>
		<name>dfs.replication</name>
    	<value>3</value>
  	</property>

  	<property>
    	<name>dfs.namenode.name.dir</name>
    	<value>file:/usr/local/hadoop/name</value>
  	</property>

  	<property>
    	<name>dfs.datanode.data.dir</name>
    	<value>file:/usr/local/hadoop/data</value>
  	</property>

  	<property>
    	<name>dfs.namenode.secondary.http-address</name>
    	 <!-- 配置secondarynamenode位置（尽量不要和namenode在一个结点上）：slave01 -> 切换成自己子节点机器的名称 -->
    	<value>slave01:9868</value>
  	</property>
  
  	<!-- 同时指定namesecondary的工作目录 -->
   	<property>
       	<name>dfs.namenode.checkpoint.dir</name>
        <!-- 注意，必须在slave01上创建下面对应的文件夹，后面的slave结点配置会涉及 -->
       	<value>file:/usr/local/hadoop/namesecondary</value>
    </property>    
</configuration>

检查目录（tmp、name、data、namesecondary）是否存在，如果没有则手动创建：

ls /usr/local/hadoop/

创建相关缓存目录：

su hadoop	# 确保当前用户是hadoop用户
mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/name
mkdir -p /usr/local/hadoop/data
mkdir -p /usr/local/hadoop/namesecondary

如果之前启动过集群，记得清除相关文件：清理掉所有伪分布模式下的缓存及日志内容（只是清除内容，原目录保留）。

su hadoop	# 确保当前用户在hadoop用户下
rm -rf /usr/local/hadoop/tmp/*
rm -rf /usr/local/hadoop/name/*
rm -rf /usr/local/hadoop/data/*
rm -rf /usr/local/hadoop/var/lib/hadoop/*
rm -rf /usr/local/hadoop/var/log/hadoop/*


6）配置mapred-site.xml：

打开文件：

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml

打开后在文件中添加（如果之前做过伪分布式，其中的内容几乎不用修改）：

 <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>  
    
    <!-- 原2.9.x版本可以不设置  -->
    <property>
        <name>mapreduce.application.classpath</name>           	<value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>


7）配置yarn-site.xml

打开文件：

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

打开后在文件中添加（如果之前做过伪分布式，其中的内容几乎不用修改）：

 <configuration>
    <!-- 以下注释掉的部分可配置可不配置 -->
    <!--
        <property>
            <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
	-->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>

    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
    </property>
</configuration>


8）推送配置文件至slave主机

前面已经配置了master与两台slave主机的免密登录，并且修改了相关配置文件，可直接将hadoop的配置文件推到两台slave主机对应的位置上（这样就省去了重复配置的操作）：

# 以下操作在master主机上
cd /usr/local/hadoop	# 进入hadoop安装目录
# 将master主机的整个hadoop配置文件夹推送到指定位置
scp -r etc/hadoop hadoop@slave01:/usr/local/hadoop/etc/
scp -r etc/hadoop hadoop@slave02:/usr/local/hadoop/etc/

验证一下配置文件是否成功从master主机推送到slave主机：

# 进入slave01主机（slave02）同理
cd /usr/local/hadoop	# 进入hadoop安装目录
cat etc/hadoop/workers

如果在命令行成功输出原master主机上配置的workers文件的内容，则说明推送成功（如果不放心可以vim打开其他配置文件再确认一下）。



6.3.5 slave结点配置

由于主要的配置文件已通过master推送到指定位置，这里仅需要创建集群所需的目录。

检查目录（tmp、name、data、namesecondary）是否存在，如果没有则手动创建：

ls /usr/local/hadoop/

创建相关缓存目录：

su hadoop	# 确保当前用户是hadoop用户
mkdir -p /usr/local/hadoop/tmp
mkdir -p /usr/local/hadoop/name
mkdir -p /usr/local/hadoop/data
mkdir -p /usr/local/hadoop/namesecondary
mkdir -p /usr/local/hadoop/var/lib/hadoop 
mkdir -p /usr/local/hadoop/var/log/hadoop

如果之前在slave主机上启动过伪分布式集群，记得清除相关文件：清理掉所有伪分布模式下的缓存及日志内容（只是清除内容，原目录保留）。

su hadoop	# 确保当前用户在hadoop用户下
rm -rf /usr/local/hadoop/tmp/*
rm -rf /usr/local/hadoop/name/*
rm -rf /usr/local/hadoop/data/*
rm -rf /usr/local/hadoop/var/lib/hadoop/*
rm -rf /usr/local/hadoop/var/log/hadoop/*


6.3.6 格式化HDFS（在master节点上操作）

回到master主机，在hadoop安装目录下运行，只需要格式化一次（限首次启动hadoop集群时使用，如果是因为结点进程挂掉而重新格式化，必须把之前的缓存目录/日志目录全部清除才行，详细操作流程见“常见问题及解决办法”一节）：

cd /usr/local/hadoop
bin/hdfs namenode -format

接下来会输出很多信息，看到Storage directory /usr/local/hadoop/name has been successfully formatted.就代表格式化HDFS成功。



6.3.7 开启HDFS

一次性启动HDFS和yarn：

 sbin/start-all.sh

也可以选择开启部分服务（仅开启HDFS），即：sbin/stop-dfs.sh，对应的关闭指令为：sbin/stop-dfs.sh。

如果是sbin/start-all.sh，则启动集群后会在master上出现4个新的进程、slave01上出现3个新进程、slave02上出现2个新进程。如果所有结点上的进程被完全开启且无报错，则代表完全分布式集群启动成功：

jps	# 查看进程

查看开启HDFS和yarn后的全部进程，如果成功开启集群则会看到如下进程：

  • master结点上的进程，包含jps、NodeManager、NameNode、ResourceMananger、DataNode：在这里插入图片描述
  • slave01结点上的进程，包含jps、SecondaryNamenode、DataNode、NodeManager：在这里插入图片描述
  • slave02结点上的进程，包含jps、DataNode、NodeManager：
    在这里插入图片描述
    打开浏览器输入网址（格式：master主机ip:端口号，默认端口为9870）访问HDFS：例如，124.70.48.162:9870

能打开这个页面就代表HDFS的web功能可以正常使用：
在这里插入图片描述
还可以查看集群信息：
在这里插入图片描述
在这里插入图片描述



6.3.8 测试HDFS（可略）

在HDFS系统上创建相关目录：

bin/hdfs dfs -mkdir /user
bin/hdfs dfs -mkdir /user/root
bin/hdfs dfs -mkdir /input

上传测试文件（core-site.xml）至HDFS系统指定目录（这里的目录是input）：

bin/hdfs dfs -put etc/hadoop/core-site.xml /input

将配置文件上传至input文件夹中（这里上传的是MapReduce的jar包，参数jar指定当前执行文件的类型），并指定输出文件为output（注意output文件夹必须还未被创建，若已被创建则会报错），做一个简单的词频统计：

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /input/core-site.xml /output
bin/hdfs dfs -ls /output
bin/hdfs dfs -cat /output/*

复制到本地查看:

bin/hdfs dfs -get /output output
cat output/*


6.3.9 关闭HDFS

一次性关闭HDFS和yarn：

sbin/stop-all.sh


6.3.10 开启yarn
sbin/start-yarn.sh


6.3.11 关闭yarn
sbin/stop-yarn.sh

至此，完全分布式系统配置过程已全部展示完毕。





（二）常见问题及解决办法

1 问题整理

1）开启HDFS报错：localhost: ERROR: Cannot set priority of datanode

查看日志：

cd /usr/local/hadoop/var/log/hadoop	# 进入日志目录，这个定义在hadoop-env.sh中
vim /usr/local/hadoop/var/log/hadoop/hadoop-hadoop-datanode-master.log 	# 因为是datanode出错，所以查看datanode的日志

快捷键shift+g跳转到文档末尾，发现有这样的报错：chmod: changing permissions of ‘/usr/local/hadoop/data’: Operation not permitted

一开始怀疑是文件夹授权不对，chmod更改了授权依然无效，才发现文档的创建用户是root（非当前hadoop用户），linux不允许跨用户操作目录。

删除掉原先的文件夹，再用hadoop用户新建文件夹就可以启动集群了。


2）访问Hadoop web界面报错：It looks like you are making an HTTP request to a Hadoop IPC port. This is not the correct port for the web interface on this daemon.

在启动hadoop集群后，打开浏览器上输入http://124.70.48.162:9000/（端口号前面的主机ip请换成自己的主机ip），出现无法访问的情况，经查发现是单节点的hadoop的问题，正确的访问地址为http://124.70.48.162:8088/cluster

常用界面访问地址：

  • 管理界面：http://124.70.48.162:8088

  • NameNode界面：http://124.70.48.162:9870

  • HDFS NameNode界面：http://localhost:8042


3）启动完全分布式集群时报错：ERROR: Cannot set priority of nodemanager process 18647

检查了一下master结点的错误日志，发现是我的路径没写对。

原缓存文件路径：file:///usr/local/hadoop/tmp

后来把hdfs-site.xml和core-site.xml配置文件中对应路径前面的“file://"去掉即可正常启动集群（加上前缀的话，在虚拟机上是可以正常启动的，不明白云服务器为何不认这种写法）。


4）解决了端口配置问题依然无法访问HDFS web界面

多半是因为防火墙没关（虚拟机用户遇到这种状况比较常见）。

查看防火墙是否活跃：

systemctl status firewalld

如果状态为active就需要关闭防火墙，关闭指令：

systemctl stop firewalld

如果防火墙已关，依旧无法访问，检查访问端口是否配置正确（默认端口9870），如果使用的是云服务器则要检查安全组中是否放通此端口。

如果问题依旧没有解决，输入jps指令检查datanode进程是否正常运行，如果缺失datanode，检查datanode日志，找出错误原因（日志文件或数据文件路径错误、配置路径错误，etc.），处理后重新格式化HDFS，再启动集群即可解决。



2 解决方法

总之，绝大部分环境配置相关的异常都跟集群没有正常开启/关闭有关，养成好习惯，每次开启集群之后都要在关机之前及时关闭集群。

1）删除data/name/tmp文件夹（针对结点进程无法启动的情况）

删除并重建相关文件夹：

su hadoop	# 确保当前用户是hadoop
cd /usr/local/hadoop/	# 进入hadoop安装目录
rm -rf data
mkdir data
rm -rf name
mkdir name
rm -rf tmp
mkdir tmp

重新格式化:

bin/hdfs namenode -format

启动HDFS:

sbin/start-dfs.sh


2）删除日志（针对因服务器异常关闭导致日志记录存在异常而无法启动集群的情况）

删除并重建相关文件夹：

su hadoop	# 确保当前用户是hadoop
cd /usr/local/hadoop/var
rm -rf log
mkdir log
mkdir log/hadoop
sudo chmod -R  777 /usr/local/hadoop/var/log/hadoop		# 重新给子目录授权

启动HDFS：

sbin/start-dfs.sh


我本鼠狂人
关注
  • 5
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Hadoop配置文件（ hadoop-env.sh、core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml、 slaves）详解
qq_52159080的博客
03-20 1万+
hadoop-env.sh 配置hadoop中的 hadoop-env.sh（后边很多框架配置环境都是xxx.env.sh） 配置hadoop的环境变量的，一般有Java home，hadoopconfdir等这些软件、配置目录，有运行过程中使用的变量，如hadoop栈大小配置，java 运行内存大小配置等等。 用工具直接打开进行配置即可； 默认是已经开启的，如果前面有#，只需要去掉即可； core-site.xml 配置hadoop的访问目录（配置ip主机和端口号；提供出来进行访问）；修.
hadoop环境配置
狂躁的辣条的博客
04-10 755
chkconfig 配置防火墙 service iptables stop 关闭ip防火墙 service iptables status 查看是否运行 iptables状态 原理是 通过ssh来运行hadoop脚本来运行进程 getenforce 查看状态 vim /etc/selinux/config 修改配置 解压jdk 到 opt文件下 tar -zxf jdk-xxx.ta...
Hadoop集群构建（四）
weixin_64270471的博客
11-18 1455
主要任务。
基于linux的Hadoop配置文件修改和启动
Matrix70的博客
06-23 2653
本篇博客详细叙述了Hadoop的安装及配置文件的修改，包括hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml......,并介绍了将worker节点的master上的hadoop分配到worker机器中的命令，后续配置完毕后，启动 集群
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置
最新发布
2401_84167086的博客
05-10 1851
4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。加载新时区：sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop
weixin_39132087的博客
02-13 1881
1.Hadoop主要包括以下三大组件 HDFS(分布式存储系统) NameNode:HDFS集群主节点 SecondaryNamenode:NameNode 的冷备份 DateNode:是 HDFS 集群从节点 YARN（资源管理器）----MapReduce、Storm,spark,flink ResourceManager NodeManager MapReduce(分布式并...
解决hadoop 3.0.0配置过程中无法找到hadoop-env.sh的问题
Bejpse的博客
08-30 2132
网上各种搜索无果后决定自己找找看，想到了用WinSCP会不会有文件搜索功能，登陆后发现可以搜索，直接搜素hadoop-env.sh，找到了它的具体位置，包含在：/usr/local/hadoop/hadoop-common-project/hadoop-common/src/main/conf，如图2。初次尝试安装配置Hadoop，并且使用了新版本3.0.0，依据网上教程进行安装过程中，在进行修改配置文件时候出现了问题：无法找到hadoop/conf/hadoop-env.sh。...
大数据技术之Hadoop3.x-视频教程网盘链接提取码下载 .txt
03-04
尚硅谷Hadoop视频教程再次重磅升级！以企业实际生产环境为背景，增加了更全面、更细致、更硬核的生产调优手册，对源码解析部分进行了全新的扩充和升级，并增加大量企业实战案例！ 视频大小： 12.9G
Hadoop 2.x与3.x 22点比较,Hadoop 3.x比2.x的改进
01-11
在这篇文章中，我们将讨论Hadoop 2.x与Hadoop 3.x之间的比较。 Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop 2程序，Hadoop 2和Hadoop 3有什么区别？ 二、Hadoop 2.x与Hadoop 3.x比较 本节将讲述Hadoop 2...
Hadoop2.X/YARN环境搭建--CentOS7.0系统配置
09-10
【Hadoop2.X/YARN环境搭建--CentOS7.0系统配置】 在大数据处理领域，Hadoop是一个不可或缺的工具，它的核心组件包括分布式文件系统HDFS和资源管理系统YARN。Hadoop2.X引入了YARN（Yet Another Resource Negotiator...
hadoop1.x环境搭建及其入门
09-26
hadoop1.x环境搭建及其入门，如需获取更多hadoop资源
hadoop3.x带snappy(可用于windows本地开发)
10-26
【标题】"hadoop3.x带snappy(可用于windows本地开发)"所涉及的知识点主要集中在Hadoop 3.0版本以及Snappy压缩算法在Windows环境下的应用。Hadoop是一个开源的大数据处理框架，由Apache软件基金会开发，它使得在...
hadoop2.x主要配置
07-22
包含了hadoop配置文件core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
09-14
在本教程中，我们将深入探讨如何在腾讯云上搭建Hadoop 3.x的伪集群。首先，我们需要确保我们的系统环境是CentOS Linux release 7.5.1804 (Core)。伪集群允许我们在单个节点上模拟多节点集群的行为，这对于开发和测试...
大数据集群安装02之Hadoop配置
weixin_43744732的博客
03-24 2636
Hadoop配置 必看 配置千万条，网络第一条。 配置不规范，bug改到吐。 内外ip要分清，本机配置内ip，连接请用外ip 1.下载上传插件rz 【安装命令】： yum install -y lrzsz 2.上传hadoop压缩包 【上传命令】： ## 上传压缩包 rz ## 压缩 tar -zxvf [包名] 3.配置hadoop (1)编辑.bashrc文件 在所有节点的.bashrc文件中添加如下内容：(也可以在profile文件中添加) # jdk export JAVA_HOME=/roo
【hadoop环境搭建】
qq_43953055的博客
07-19 1299
hadoop环境搭建
集群配置，hadoop配置过程，细节满满
z2839的博客
03-21 1836
(2)如果你的集群虚拟机已经都创建完成，且确保网络，ssh密钥登陆 都做好了后，就可以开始安装jdk和hadoop了。/usr/local/src/hadoop/etc/hadoop 中的对应配置文件中加入下面的相关参数。这一步是集群配置的关键。做一个hadoop的配置流程的全记录，把遇到的问题和细节全都记录了下来。选择下载hadoop的版本，下载对应版本的source安装包。进入安装目录，修改对应安装包文件名，改成jdk，hadoop。(1) hadoop的部署规划，我使用3台虚假机搭建集群，
windows配置hadoop3.x环境
03-16
要在Windows系统中配置Hadoop 3.x环境，需要以下步骤： 1. 安装Java：因为Hadoop是基于Java开发的，所以需要先安装Java环境。 2. 下载Hadoop：可以从Apache官方网站下载最新版本的Hadoop。 3. 配置环境变量：将Hadoop的bin目录添加到系统的环境变量中。 4. 修改配置文件：需要修改Hadoop的配置文件，以设置相关的参数，如Hadoop的工作目录等。 5. 启动Hadoop：使用命令行工具在Hadoop的bin目录中启动Hadoop。 请注意，这只是大致的步骤，详细的配置可能因系统版本和Hadoop版本而有所不同。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我本鼠狂人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值