linux安装Hadoop-3.1.3-单机/伪分布（图文详细版）

最新推荐文章于 2024-08-30 13:48:42 发布
最新推荐文章于 2024-08-30 13:48:42 发布
阅读量2k 收藏 14
点赞数 2
分类专栏： 大数据及人工智能 数据库等 Linux服务器以及虚拟机系列 文章标签： hadoop linux 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46138492/article/details/128582599
版权

linux安装Hadoop-3.1.3-单机/伪分布

0、官方下载地址

[Apache Hadoop下载地址](https://hadoop.apache.org/releases.html)

[Apache Hadoop历史版本](https://archive.apache.org/dist/hadoop/common/)

一、前提准备

1.1 免密登录本机

登录本机：ssh localhost

输入密码，成功后退出登录：exit

如果这一步失败，请先执行上面登录本机步骤：cd ~/.ssh/

会有提示，都按回车就可以：ssh-keygen -t rsa

加入授权* ：cat ./id_rsa.pub >> ./authorized_keys

再一次实验登录本机，发现可以直接登录不用密码了：ssh localhost

2.2 jdk的安装，参照博主另一篇文章linux的JDK安装

查看jdk是否安装成功：java -version

如果没有安装jdk，记得安装。建议卸载自带的openjdk

在这里插入图片描述

二、Hadoop单机配置（非分布式）

1、上传文件

  • 使用工具上传

  • 命令行上传 scp hadoop-3.1.3.tar.gz user@192.168.10.133:/home/user

2、解压hadoop压缩包

tar -zxvf hadoop-3.1.3.tar.gz

3、创建hadoop目录

sudo mkdir /usr/local/hadoop

4、移动到hadoop

sudo mv hadoop-3.1.3 /usr/local/hadoop/

5、进入local目录

cd /usr/local/hadoop

6、将hadoop权限给user

sudo chown -R user:user hadoop-3.1.3/

7、查看hadoop是否可以使用

/usr/local/hadoop/hadoop-3.1.3/bin/hadoop version

输入hadoop版本即可代表hadoop可以使用

在这里插入图片描述

Hadoop 默认模式为非分布式模式（本地模式），无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。

三、Hadoop伪分布安装，配置 HDFS

说明：

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。
Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

3.1 修改配置文件 core-site.xml

进入目录：cd /usr/local/hadoop/hadoop-3.1.3/etc/hadoop

修改文件：sudo vim ./core-site.xml

<configuration>
 <property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop/hadoop-3.1.3/tmp</value>
		<description>Abase for other temporary directories.</description>
 </property>
 <property>
		<name>fs.defaultFS</name>
		<value>hdfs://localhost:9000</value>
 </property>
</configuration>

3.2 修改配置文件 hdfs-site.xml

sudo vim ./hdfs-site.xml

<configuration>
 <property>
	<name>dfs.replication</name>
	<value>1</value>
 </property>
 <property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/hadoop/hadoop-3.1.3/tmp/dfs/name</value>
 </property>
 <property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/usr/local/hadoop/hadoop-3.1.3/tmp/dfs/data</value>
 </property>
</configuration>

3.3 执行NameNode的格式化

cd /usr/local/hadoop/hadoop-3.1.3
./bin/hdfs namenode -format

在这里插入图片描述

显示 “successfully formatted” 和 “Exitting with status 0” 的提示，便成功了，否则显示 “Exitting with status 1” 就是出错。

3.4 开启NameNode 、DataNode守护进程

cd /usr/local/hadoop/hadoop-3.1.3
./bin/hdfs namenode -format
报错：

如果出现以下错误

在这里插入图片描述

关闭程序： ./sbin/stop-dfs.sh

cd /usr/local/hadoop/hadoop-3.1.3/etc/hadoop

sudo vim hadoop-env.sh

在上面加上以下

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_351
export HADOOP=/usr/local/hadoop/hadoop-3.1.3
export PATH=$PATH:/usr/local/hadoop/hadoop-3.1.3/bin

同时删除tmp文件夹中的内容

cd /usr/local/hadoop/hadoop-3.1.3/tmp

执行初始化：

cd /usr/local/hadoop/hadoop-3.1.3
./bin/hdfs namenode -format

过程中可能会输入Y/N，大小写最好和他一样

再次启动
cd /usr/local/hadoop/hadoop-3.1.3
./sbin/start-dfs.sh

jps  #输入jps看是否全部启动

在这里插入图片描述

3.5 Web 界面查看 NameNode 和 Datanode 信息

还可以在线查看 HDFS 中的文件

Hadoop2.x 为 http://localhost:50070

Hadoop3.x 已改为http://localhost:9870 http://192.168.10.128:9870

在这里插入图片描述

3.6 启动 YARN 来负责资源管理与任务调度

启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况

YARN：YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。
上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

3.6.1 关闭hadoop
cd /usr/local/hadoop/hadoop-3.1.3
./sbin/stop-dfs.sh
3.6.2 修改配置文件 mapred-site.xml

重命名(有的已经改好了就不用改了):

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

修改文件：

vim ./etc/hadoop/mapred-site.xml

<configuration>
 <property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
 </property>
</configuration>
3.6.3 修改yarn-site.xml

vim ./etc/hadoop/yarn-site.xml

<configuration>
 <property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
 </property>
</configuration>
3.6.4 启动YARN

先启动hadoop

cd /usr/local/hadoop/hadoop-3.1.3
./sbin/start-dfs.sh

启动YARN

./sbin/start-yarn.sh  # 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  
#开启历史服务器，才能在Web中查看任务运行情况

查看jps，发现多了三个

在这里插入图片描述

启动 YARN 之后，运行实例的方法还是一样的，仅仅是资源管理方式、任务调度不同。观察日志信息可以发现，不启用 YARN 时，是 “mapred.LocalJobRunner” 在跑任务，启用 YARN 之后，是 “mapred.YARNRunner” 在跑任务。启动 YARN 有个好处是可以通过 Web 界面查看任务的运行情况：，如下图所示。

YARN Web页面

http://local:8088/cluster 远程： http://192.168.10.128:8088/cluster

在这里插入图片描述

3.7 退出

cd /usr/local/hadoop/hadoop-3.1.3/  #进入目录

./sbin/mr-jobhistory-daemon.sh stop historyserver 
./sbin/stop-yarn.sh   #退出yarn
./sbin/stop-dfs.sh    #退出hadoop

完成啦！！！好好玩你的Hadoop吧

Hadoop3.1.3安装教程_单机/伪分布式配置
秉烛夜游bzyy
12-22 1587
当开始着手实践 Hadoop 时，安装 Hadoop 往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有 Hadoop 安装配置教程，但由于对 Linux 环境不熟悉，书上跟官网上简略的安装步骤新手往往 Hold 不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。本教程适合于原生 Hadoop3.1.3，主要参考官方安装教程，步骤详细，辅以适当说明，相信按照步骤来，都能顺利安装并运行Hadoop。方便有基础的读者快速完成安装。
linux部署hadoop3.1.3
Guozr7的博客
06-26 1283
linux部署hadoop3.1.3
Linux CentOS安装Hadoop3.1.3（单机版）详细教程
weixin_44458771的博客
08-30 2931
Hadoop是一个开源的分布式计算框架，主要用于大数据处理。它包括HDFS分布式文件系统和MapReduce计算模型，能够高效地存储和处理大规模数据集，广泛用于数据挖掘、分析和机器学习。
Linux环境安装Hadoop单机版
Flychuer的专栏
03-20 3686
一、安装版本 hadoop-2.7.5 下载地址：Index of /dist/hadoop/core (apache.org) 二、准备工作 1、安装jdk 8及以上版本 2、修改主机名称（可以不修改） 3、关闭防火墙 三、安装 1、解压到/opt目录下 tar -zxvf hadoop-2.7.5.tar.gz -C /opt/ 2、配置hadoop环境变量 vim /etc/profile export HADOOP_HOME=/opt/hadoop-2.7.5 e
Linux环境搭建Hadoop伪分布模式
yang_mang的博客
10-16 1511
Hadoop有三种分布模式：单机模式、伪分布、全分布模式，相比于其他两种，伪分布是最适合初学者开发学习使用的，可以了解Hadoop的运行原理，是最好的选择。接下来，就开始部署环境。 首先要安装好Linux环境，可以是真机，也可以是虚拟机，我的环境是VMWare下安装的CentOS 6.3的虚拟机，如果你还没有安装好Linux环境，可以参考我的另一篇文章： window7环境下VMWare自定义安
Linux安装Hadoop（伪分布）
《@书山有径%》的博客
09-04 409
Linux安装Hadoop（伪分布） ####下载Hadoop 华为源下载
大数据 hadoop-3.1.3 linux 安装包
06-25
在Linux环境下安装Hadoop-3.1.3时，首先需要确保系统满足基本的硬件和软件要求，如Java运行环境（JRE）和Java开发工具集（JDK）。安装JDK后，设置环境变量`JAVA_HOME`指向JDK的安装路径。 接下来，下载Hadoop-3.1.3...
hadoop-3.1.3安装包
07-28
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据，适合...
hadoop-3.1.3-src.tar.gz
04-09
这个名为“hadoop-3.1.3-src.tar.gz”的压缩包包含了Hadoop 3.1.3版本的源代码，对于开发者来说，这是一个宝贵的资源，可以深入理解Hadoop的内部工作原理并进行定制化开发。 Hadoop的核心组件主要包括两个：HDFS...
hadoop-3.1.3.tar.gz
12-06
替换/path/to/hadoop-3.1.3为实际的Hadoop安装路径，然后执行`source ~/.bashrc`使改动生效。 四、配置Hadoop参数 在Hadoop的配置目录（$HADOOP_HOME/etc/hadoop）下，有两个主要的配置文件：core-site.xml和hdfs-...
linux下安装hadoop伪分布与完全分布式安装
06-01
在 LinuxLinuxLinuxLinuxLinux5.65.65.6企业版 企业版 下成功搭建 下成功搭建 下成功搭建 HadoopHadoopHadoopHadoopHadoopHadoop伪分布 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 测试环境。本次在一台服务 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 器上进行伪分布式搭建。 Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 伪分布式模是在单机上拟 Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 分布式， 分布式， 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 单机上的分布式并不是真正伪，而使用线程模拟。 Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop Hadoop 本身 是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是无法区分伪布式 和的，两种配置也很相似唯一不同地方是在单机器上配置，数据节点和名字均一个。 是在单机器上配置，数据节点和名字均一个。 是在单机器上配置，数据节点和名字均一个。 是
Linux自动安装Hadoop集群（伪分布）（Shell脚本）
07-24
需要自己先安装jdk，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，这里有自动安装jdk的脚本
单机版hadoop安装（linux）
07-26
单机版hadoop安装，可以版主你快速入门hadoop，快速安装hadoop
apache-hadoop-3.1.3-winutils-master.zip
05-02
在这个"apache-hadoop-3.1.3-winutils-master.zip"压缩包中，包含了在Windows环境下配置Hadoop HDFS客户端所需的组件，特别是`hadoop-winutils`和`hadoop.dll`这两个关键文件，它们对于在Windows系统上运行Hadoop...
Hadoop3.1.3安装教程单机伪分布式配置
gentle John
12-18 1315
• 启动时会提示形如 “DBLab-XMU: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.out”，其中 DBLab-XMU 对应你的机器名，但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-DBLab-XMU.log 中，所以应该查看这个后缀为 .log 的文件；
Linux操作系统安装hadoop（伪分布式）
weixin_47406709的博客
07-26 565
Linux安装hadoop（伪分布式） 一、准备 没有特殊说明操作都在在master主节点上进行 该项只需hadoop身份配置 创建软件包名，暂存上传的软件包（已经创建过的可以忽略此步骤） mkdir ~/software 上传hadoop压缩包 将压缩包放到根目录下，目的是为了方便操作 cp ~/software/hadoop-*.tar.gz ~/ 二、安装 解压安装包 cd ~ # 跳转到根目录 tar -xzvf hadoop-*.tar.gz # 解
Linux安装伪分布式Hadoop
m0_64416846的博客
03-23 2932
1，首先要安装jdk,这里就不介绍了
3. Hadoop-3.1.3伪分布式安装部署
QYmufeng的博客
07-21 1118
Hadoop伪分布式安装部署并运行自带例子
linux Centos 7 安装hadoop3.1.3 详解
huangxingjie的博客
10-06 4872
一、准备工作 Linux环境：Centos 7 远程登陆：xShell 6 安装jdk并配置好环境变量 下载hadoop-3.1.3.tar.gz 二、安装hadoop 1. 把下载好的hadoop-3.1.3.tar.gz 上传到linux 的/usr/local/java目录（可自由选择） ## 进入该目录 cd /usr/local ##切换root用户 su root ## 创建文件夹 mkdir java 2...
C:\Users\zjh>icacls D:\hadoop-3.1.3\hadoop-3.1.3*. * /grant %username%:(F) 无效参数“*”
最新发布
09-25
当你在Windows的命令提示符（CMD）中尝试使用`...icacls D:\hadoop-3.1.3\file1 D:\hadoop-3.1.3\file2 D:\hadoop-3.1.3\file3 /grant %username%:(F) ``` 记得替换`file1`, `file2`, 和 `file3`为实际存在的文件名。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

杨小羊-

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值