Hadoop3.2.*安装

已于 2022-07-21 17:09:05 修改
阅读量821 收藏 4
点赞数 1
分类专栏： Hadoop 文章标签： hadoop
于 2020-11-14 12:23:15 首次发布
原文链接：https://www.cnblogs.com/wys7541/p/13831280.html
版权

CentOS8系统安装Hadoop-3.2.1伪分布式配置

Hadoop3.2.1版本的环境搭建 - Java提升营 - 博客园

[TOC]

实验目的

​ 在 Linux（VM15pro/CentOS8） 环境下完成Hadoop-3.2.1伪分布式环境的搭建，并运行 Hadoop 自带的 WordCount 实例检测是否运行正常。

一、下载并配置java环境

​ Java 环境可选择 Oracle 的 JDK，或是 OpenJDK，现在一般 Linux 系统默认安装的基本是 OpenJDK。通过 yum 进行安装 JDK，安装过程中会让输入 [y/N]，输入 y 即可：

[root@localhost ~]# yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

​ 接着我们需要配置Java的环境变量，打开/etc/profile文件最后面添加如图内容，并让该环境变量生效。

PS:yum 安装的jdk 1.8 的话，默认JAVA_HOME 都是 /usr/lib/jvm/java-1.8.0，总之都是在 /usr/lib/jvm/ 这个目录下

因为yum安装后会自动配置 环境变量，所以 安装后  直接指向javac 或者 Java -version 都是可以的，

但是 你会发现 /etc/profile 这个文件中其实是 没有JAVA_HOME配置的需要手动配置

# java
export JAVA_HOME=/usr/lib/jvm/java-1.8.0
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

[root@localhost ~]# source /etc/profile

​ 测试Java版本信息，了解环境变量配置是否成功

ps:  whereis java   可以查看Java的安装路径

二、下载并解压hadoop安装包

[root@localhost ~]# wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
[root@localhost ~]# tar -xzvf hadoop-3.2.1.tar.gz

三、配置环境变量

​ 将hadoop配置写入/etc/profile中，并测试是否配置成功。

vi /etc/profile

# hadoop
export HADOOP_HOME=/home/hzp/software/hadoop/hadoop-3.2.1
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

四、修改相关配置文件

​ 1、修改 hadoop-3.2.1/etc/hadoop/hadoop-env.sh，

取消并修改添加export JAVA_HOME=，使其值为我们解压出jdk的位置。

vi /etc/hadoop/hadoop-env.sh

# 修改hadoop-env.sh，在最后边添加JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-1.8.0

​ 2、修改hadoop-3.2.1/etc/hadoop/core-site.xml

vi core-site.xml

#在configuration标签中添加下面内容

<!--HDFS临时目录-->
<property>
    <name>hadoop.tmp.dir</name>

<!--hadoop主目录/tmp-->
    <value>/home/hzp/software/hadoop/hadoop-3.2.1/tmp</value>
</property>
<!--HDFS的默认地址、端口 访问地址-->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop0:9000</value>
</property>

​ 3、修改hadoop-3.2.1/etc/hadoop/hdfs-site.xml

vi hdfs-site.xml

#在configuration标签中添加下面内容

<!--hdfs web的地址-->
<property>
    <name>dfs.namenode.http-address</name>
    <value>hadoop0:50070</value>
</property>
<!--副本数-->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!--是否启用hdfs权限，当值为false时，代表关闭-->
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<!--块大小，默认128M-->
<property>
    <name>dfs.blocksize</name>
    <value>134217728</value>
</property>
 

​ 4、修改hadoop-3.2.1/etc/hadoop/mapred-site.xml

vi mapred-site.xml

#在configuration标签中添加下面内容

<!--local表示本地运行，classic表示经典mapreduce框架，yarn表示新的框架-->

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

<!--如果map和reduce任务访问本地库（压缩等），则必须保留原始值，当此值为空时，设置执行环境的命令将取决于操作系统-->

<property>

    <name>mapreduce.admin.user.env</name>

<!--设置为hadoop主目录-->

    <value>HADOOP_MAPRED_HOME=/home/hzp/software/hadoop/hadoop-3.2.1</value>

</property>

<!--可以设置AM【AppMaster】端的环境变量-->

<property>

    <name>yarn.app.mapreduce.am.env</name>

<!--设置为hadoop主目录-->

    <value>HADOOP_MAPRED_HOME=/home/hzp/software/hadoop/hadoop-3.2.1</value>

</property>

​ 5、修改hadoop-3.2.1/etc/hadoop/yarn-site.xml 

vi yarn-site.xml

#在configuration标签中添加下面内容

<!--集群master-->

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>hadoop0</value>

</property>

<!--NodeManager上运行的附属服务-->

<property>

    <name>yarn.nodemanager.aux-services</name>

    <value>mapreduce_shuffle</value>

</property>

<!--容器可能会覆盖的环境变量，而不是使用NodeManager的默认值-->

<property>

    <name>yarn.nodemanager.env-whitelist</name>

    <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_HOME,PATH,LANG,TZ</value>

</property>

<!--关闭内存检测，在虚拟机环境中不做配置会报错-->

<property>

    <name>yarn.nodemanager.vmem-check-enabled</name>

    <value>false</value>

</property>

6.编辑 集群下的worker 文件

 vi hadoop-3.2.1/etc/hadoop/workers

写入两个worker节点

hadoop0 hadoop1 hadoop2

 

克隆

五、设置ssh免密码登录

​ 执行下面命令检测是否已安装ssh

​ 利用 ssh-keygen 生成密钥，并将密钥加入到授权中，配置成SSH无密码登陆

  1. host配置

修改三台服务器的hosts文件

vim /etc/hosts

#添加下面内容，根据个人服务器IP配置

10.101.18.21 master
10.101.18.8 slave1
10.101.18.24 slave2

免密登陆配置

  1. 生产秘钥
ssh-keygen -t rsa
  1. master免密登录到slave中
ssh-copy-id -i ~/.ssh/id_rsa.pub master
ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
ssh-copy-id -i ~/.ssh/id_rsa.pub slave2
  1. 测试免密登陆
ssh master 
ssh slave1
ssh slave2

六、开启hadoop

​ 1、格式化NameNode，使用start-all开启所有进程，并且使用jps查看进程情况。

[root@localhost hadoop-3.2.1]# hdfs namenode -format
[root@localhost hadoop-3.2.1]# start-all.sh
[root@localhost hadoop-3.2.1]# jps

​ 2、浏览器进行hadoop服务的访问，http://localhost:9870

七、WordCount 实例检测

​ 1、单机模式读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录，接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中 。

​ 2、复制完成后，可以通过如下命令查看 HDFS 中的文件列表：

​ 3、伪分布式读取的是HDFS中的文件，运行 MapReduce 作业 

​ 4、将输出文件从分布式文件系统复制到本地文件系统并查看

八、实验过程中报错解决

​ 1、HDFS创建用户目录时报“Name node is in safe mode”，使用下面命令退出安全模式。

​ 2、jps发现DataNode进程没有开启，查看日志发现报没法找到/dfs/data目录，造成原因是在每次执行hadoop namenode -format时，都会为NameNode生成namespaceID,，但是在hadoop.tmp.dir目录下的DataNode还是保留上次的namespaceID，因为namespaceID的不一致，而导致DataNode无法启动，解决方法如下：

​ 3、jps发现NameNode进程没有开启，日志报错是/tmp/hadoop-hadoop/dfs/name目录不存在或目录不可访问，解决方法是重新格式化文件系统如下：

HADOOP_HOME/sbin/stop-all.sh  			#先停止hadoop相关进程
HADOOP_HOME/bin/hdfs namenode -format 	#重新格式化文件系统
HADOOP_HOME/sbin/start-all.sh 			#重启hadoop，此时hadoop的相关进程正常启动

​ 4、要是上面情况出现依次走到这里，又发现jpsDataNode进程没有开启，这时候删掉/dfs/data文件，重启服务就行。 

​ 5、运行wordcount报错找不到或无法加载主类，设置classpath，重启yarn服务，具体如下： 

九、参考目录

[https://www.cnblogs.com/hanhaotian/p/11754393.html]:

[https://blog.csdn.net/weixin_49736959/article/details/108815976]:

[https://blog.csdn.net/haveqing/article/details/106006860]:

hzp666
关注
专栏目录
HADOOP(3.3.2)安装
shuergang1的博客
05-25 1399
HADOOP的安装方式，每种方式的安装实现
Hadoop3.2安装
iMark
11-03 140
这次安装Hadoop3.2 + spark3.0.1 碰到一些问题 现在百度上的博客质量真的不行，看了几篇博客搭建Hadoop一直报错 查询错误也是你抄我的 我抄你的 没有什么有价值的东西 重装两次都没成功 昨天头疼都睡不着 今天再b站找到一个视频按照安装文档成功装上 主要是Hadoop3比2的版本多了权限管理，需要设置用户要不然就会报错集群不能启动 说一下昨天的错误吧 说的很明显就是权限问题，为啥我在启动脚本加入了root用户还是启动不了 可能是某个脚本没有改好导致集群不能启动 这个安装文档把需要的用
hadoop3.2.1完全分布式集群安装
m0_67393686的博客
03-25 1820
版本：Centos7 Haddop3.2.1 JDK1.8 装备工作： 在安装前先要确保三台服务器之间能够ping通，已经安装了jdk，主机名的设置以及hosts文件的修改（ip和主机名映射关系），还有各主机的免密登录以及关闭防火墙。 本次安装用到的三台虚拟机如下： ip hostname 192.168.59.101 hadoop1(主机节点) 192.168.59.102 hadoop2（从节点） 192.168.59.103 hadoop3（从节点） 1、设置主机名称 hostnamectl set-
安装hadoop3.2.3
最新发布
11-04 91
-hdfs secondarynamenode的http地址，默认为0.0.0.0:9868，如需将secondarynamenode放在其他节点，修改主机名即可 -->--hadoop文件系统目录，namenode、secondarynamenode和data默认都在此目录下，默认为/tmp/hadoop-${user.name}-->--hdfs namenode的http地址，默认为0.0.0.0:9870 -->-- 是否启用hdfs权限检查 ，默认为true开启的，设置为false关闭 -->
centos 安装hadoop3.2
Fan Ruitian的博客
03-20 700
下载安装包 wget http://apache.claz.org/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz 解压 tar -xvjf hadoop-3.2.0.tar.gz 移到某个目录下 mv hadoop-3.2.0/ /usr/hadoop/ 下载jdk wget https://download.oracle.c...
spark-3.2.0-bin-hadoop3.2.tgz
01-04
这个压缩包"spark-3.2.0-bin-hadoop3.2.tgz"包含了Spark 3.2.0版本的二进制文件，以及针对Hadoop 3.2的兼容构建。 Spark的核心组件包括：Spark Core、Spark SQL、Spark Streaming、MLlib（机器学习库）和GraphX（图...
spark-3.1.2-bin-hadoop3.2.tgz
09-17
1. 解压下载的`spark-3.1.2-bin-hadoop3.2.tgz`文件。 2. 配置环境变量，如`SPARK_HOME`和`PATH`，以便系统能够找到Spark二进制路径。 3. 可选配置，如修改`spark/conf/spark-env.sh`以设置内存分配、JVM参数等。 4....
spark-3.1.2-bin-hadoop3.2.zip
10-19
《Spark 3.1.2 与 Hadoop 3.2 整合：深度解析与实战指南》 在大数据处理领域，Apache Spark 和 Hadoop 是两个至关重要的组件。Spark 提供了快速、通用且可扩展的数据处理框架，而 Hadoop 则是分布式存储和计算的...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
在解压并安装"spark-3.1.3-bin-hadoop3.2.tgz"后，你需要配置环境变量，如SPARK_HOME，然后可以通过启动Master和Worker节点来建立Spark集群。对于单机测试，可以使用本地模式。使用Spark时，你可以编写Python、Scala...
spark-3.0.0-bin-hadoop3.2.tgz
12-30
其与hadoop3.2的集成，更进一步增强了其在分布式环境中的应用能力。 一、Spark 3.0.0的核心改进 1. 性能优化：Spark 3.0.0通过改进执行引擎和优化器，显著提升了处理速度。例如，它引入了Tungsten计划器的改进，...
Hadoop安装包
10-11
Linux环境下的Hadoop安装包，http://blog.csdn.net/zp8126可以查询安装步骤
Hadoop安装包.zip
11-18
Hadoop安装包.zip
hadoop-2.6.1.tar.gz（安装包）.rar
03-07
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。
hadoop 2.6.0 64位安装包
12-23
最新版hadoop 64位安装包 centos 6.4 64位机器上编译 由于超过100MB，所以给的网盘链接地址
CentOS7下Hadoop3.2.1的安装与部署（单机模式）
embelfe_segge的博客
03-25 474
安装准备 下载Hadoop安装包 下载地址：https://www.apache.org/dyn/closer.cgi/hadoop/common 本例中，我下载的是当前最新的稳定版本 hadoop-3.2.1.tar.gz 。 下载JDK 下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html 先执行如下命令，查看自己Linux服务器的操作系统位数，下载适用的JDK安装包。 [root@localhost ~]# g
Hadoop的安装
Rainparjt的博客
06-18 208
安装前准备 创建一台虚拟机 创建过程不再展示，可以看之前的文章 关闭防火墙，设置开机自动关闭 修改主机名 修改hosts文件 设置免密登录 执行ssh-keygen 执行操作ssh-copy-id root@hadoop01—在这输入密码 Hadoop安装 首先进入home目录下创建software文件夹 将jdk和hadoop压缩包上传到software目录下并解压2个安装包 ...
Hadoop3.2 集群搭建
多一份贡献,多一份环保
04-28 1014
Hadoop3.2 集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。 大猪 为了把文章压缩极简方便小伙伴阅读，将使用root帐号进行所有操作。 准备两台主机10.211.55.11、10.211.55.12 对应的hostname为m1.example.com、m2.e...
Hadoop3.2学习-3.全分布式安装
liukzz的博客
04-26 789
1.修改hadoop-env.sh export JAVA_HOME=/usr/local/jdk1.8.0_161 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root 2.修改core-site.xml <configura...
spark-3.0.0-bin-hadoop3.2.tgz下载
09-21
要下载spark-3.0.0-bin-hadoop3.2.tgz文件，你可以按照以下步骤进行操作： 1. 打开你的网络浏览器，在搜索引擎中搜索“spark-3.0.0-bin-hadoop3.2.tgz下载”。 2. 找到一个可靠的下载源，比如官方网站或者其他权威...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值