CentOS7中安装Hadoop3详细步骤

已于 2024-04-23 10:58:43 修改
阅读量2.7k 收藏 21
点赞数 2
分类专栏： # Hadoop 文章标签： ssh linux 大数据 hadoop
于 2023-02-02 16:06:41 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Helen_1997_1997/article/details/128835541
版权
本文详细介绍了在CentOS7系统中新建虚拟机，配置网络，安装Vim编辑器，设置SSH免密登录和时间同步，修改主机名以及添加IP名称映射的过程。接着，它涵盖了JDK8的安装，然后重点讲解了Hadoop的安装步骤，包括解压、配置文件修改、目录创建、环境变量设置，以及启动和测试Hadoop服务的整个流程。
摘要由CSDN通过智能技术生成

目录

(一)新建一个虚拟机

(二)配置网络

(三)安装vim工具

(四)设置ssh免密登录

(五)设置时间同步

(六)修改主机名

1.方法一

2.方法二

(七)给主机文件添加IP名称映射

(八)安装JDK8

(九)安装Hadoop

1.打开Xftp，连接虚拟机，在/opt目录下新建两个文件夹

2.将Hadoop压缩包传输到install文件夹中

3.解压文件到指定目录

4.更改/opt/soft/目录下hadoop的文件名

5.修改hadoop313文件及子目录文件的所有权为root

6.切换当前目录

7.修改core-site.xml文件

8.创建data文件

9.配置JAVA_HOME

10.修改hdfs-site.xml文件

11.data文件夹下创建文件

12.修改mapred-site.xml文件

13.修改yarn-site.xml

14.创建yarndata文件

15.配置HADOOP_HOME环境变量

16.重启/etc/profile文件

17.初始化

18.启动服务

19.jps

20.网页连接服务

21.上传一个文件

22.停用服务

(一)新建一个虚拟机

配置如下，具体步骤可以参考我的另一篇博文《CentOS7中新建虚拟机详细步骤》

(二)配置网络

参考我的博文：《Linux网关设置》

(三)安装vim工具

[root@localhost ~]# yum -y install vim

​ 

(四)设置ssh免密登录

参考我的博文《Linux设置ssh免密登录》

(五)设置时间同步

参考我的博文《Linux中CentOS7时间与网络时间orWindows同步的方法》

(六)修改主机名

1.方法一

[root@localhost .ssh]# vim /etc/hostname

2.方法二

[root@localhost .ssh]# hostnamectl set-hostname lxm148
[root@localhost .ssh]# bash
[root@lxm148.ssh]#

此时ping ip地址或主机名都可以连接上

[root@localhost .ssh]# ping 192.168.180.148

[root@localhost .ssh]# ping lxm148

(七)给主机文件添加IP名称映射

[root@localhost .ssh]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.180.148 lxm148
192.168.180.141 lxm141

修改后就可以直接ping主机名连接其他虚拟机

[root@localhost .ssh]# ping lxm141

(八)安装JDK8

参考我的博文《Linux安装JDK8详细步骤》

(九)安装Hadoop

1.打开Xftp，连接虚拟机，在/opt目录下新建两个文件夹

2.将Hadoop压缩包传输到install文件夹中

3.解压文件到指定目录

[root@localhost install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

4.更改/opt/soft/目录下hadoop的文件名

[root@localhost soft]# mv hadoop-3.1.3/ hadoop313

5.修改hadoop313文件及子目录文件的所有权为root

[root@lxm148 soft]# chown -R root:root /opt/soft/hadoop313/

6.切换当前目录

[root@lxm148 hadoop]# pwd
/opt/soft/hadoop313/etc/hadoop

7.修改core-site.xml文件

[root@lxm148 hadoop]# vim ./core-site.xml 

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://lxm148:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop313/data</value>
    <description>namenode上本地的hadoop临时文件夹</description>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>读写队列缓存：128K</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

8.创建data文件

切换目录

[root@lxm148 hadoop313]# pwd
/opt/soft/hadoop313

创建data文件

[root@lxm148 hadoop313]# mkdir data
[root@lxm148 hadoop313]# ll
total 176
drwxr-xr-x. 2 root root    183 Sep 12  2019 bin
drwxr-xr-x. 2 root root      6 Feb  2 15:11 data
drwxr-xr-x. 3 root root     20 Sep 12  2019 etc
drwxr-xr-x. 2 root root    106 Sep 12  2019 include
drwxr-xr-x. 3 root root     20 Sep 12  2019 lib
drwxr-xr-x. 4 root root    288 Sep 12  2019 libexec
-rw-rw-r--. 1 root root 147145 Sep  4  2019 LICENSE.txt
-rw-rw-r--. 1 root root  21867 Sep  4  2019 NOTICE.txt
-rw-rw-r--. 1 root root   1366 Sep  4  2019 README.txt
drwxr-xr-x. 3 root root   4096 Sep 12  2019 sbin
drwxr-xr-x. 4 root root     31 Sep 12  2019 share

9.配置JAVA_HOME

[root@lxm148 hadoop]# vim ./hadoop-env.sh

10.修改hdfs-site.xml文件

[root@lxm148 hadoop]# vim ./hdfs-site.xml 
<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>hadoop中每一个block文件的备份数量</description>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/name</value>
    <description>namenode上存储hdfsq名字空间元数据的目录</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/data</value>
    <description>datanode上数据块的物理存储位置目录</description>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
    <description>关闭权限验证</description>
  </property>
</configuration>

11.data文件夹下创建文件

[root@lxm148 data]# mkdir -p ./dfs/name
[root@lxm148 data]# mkdir -p ./dfs/data

12.修改mapred-site.xml文件

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>job执行框架： local, classic or yarn</description>
    <final>true</final>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>lxm148:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>lxm148:19888</value>
  </property>

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
  </property>

</configuration>

13.修改yarn-site.xml

[root@lxm148 hadoop]# vim ./yarn-site.xml 
<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>20000</value>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>

  <property>
    <name>yarn.nodemanager.localizer.address</name>
    <value>lxm148:8040</value>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>lxm148:8050</value>
  </property>

  <property>
    <name>yarn.nodemanager.webapp.address</name>
    <value>lxm148:8042</value>
  </property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/yarn</value>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/log</value>
  </property>

</configuration>

14.创建yarndata文件

回到这个路径：/opt/soft/hadoop313/

[root@lxm148 hadoop313]# mkdir yarndata

15.配置HADOOP_HOME环境变量

[root@lxm148 hadoop]# vim /etc/profile

在JAVA_HOME下面接着配置HADOOP_HOME

# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

16.重启/etc/profile文件

[root@lxm148 hadoop]# source /etc/profile
 
[root@lxm148 hadoop]# echo $HADOOP_HOME

17.初始化

[root@lxm148 yarndata]# hdfs namenode -format

18.启动服务

[root@lxm148 yarndata]# start-all.sh

19.jps

这里要注意：

如果输入jps命令后启动的数量少于6个，可能是缺少的那个xml文件或/etc/profile中的配置出错，需要仔细检查

如果配置没问题，可以输入命令单独启用服务

hdfs --daemon start datanode

各个服务组件逐一启动/停止
	（1）分别启动/停止HDFS组件
hdfs --daemon start/stop namenode/datanode/secondarynamenode
	（2）启动/停止YARN
yarn --daemon start/stop  resourcemanager/nodemanager

20.网页连接服务

http://192.168.180.148:9870

也可以在网页输入

http://lxm147:9870

此时我门需要在windows上进行主机映射

添加主机映射

有的电脑可能无法直接在里面输入并保存，需要放到桌面上，配置完成后再进行保存，再放回C:\Windows\System32\drivers\etc目录下

21.上传一个文件

切换到这个目录下：

/opt/soft/hadoop313/etc/hadoop

[root@lxm148 hadoop]# hdfs dfs -put mapred-env.cmd /
2023-02-02 16:03:55,911 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2023-02-02 16:03:58,392 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

刷新网页

Block默认所占空间为128MB

22.停用服务

[root@lxm148 hadoop]# stop-all.sh

下次启动直接输入以下命令即可：

[root@lxm148 hadoop]# start-all.sh
雷神乐乐
关注
专栏目录
Centos7下安装hadoop-2.8.3详细步骤
03-19
CentOS下安装hadoop-2.8.3详细步骤，包括如何调用原生CountWord并输出
CentOS 搭建 Hadoop3 高可用集群
热门推荐
桃李不言下自成蹊
11-01 3万+
在/etc/systemd/system/文件夹下创建一个启动脚本zookeeper-3.service。上传本地测试文件 wcdata.txt 到 HDFS 上 /wordcount/input。在 HDFS 上创建目录 /wordcount/input。浏览器访问:http://spark01:19888/浏览器访问: http://spark01:9870。浏览器访问:http://spark01:8088。将元数据内容按照指定格式读取后写入到新文件中。将元数据内容按照指定格式读取后写入到新文件中。
CentOS中Hadoop的安装配置简略教程
weixin_55280439的博客
04-27 4001
http://主节点IP地址:808//cluster。重启三台电脑，重启后在终端Shell。中区分三台主机，修改其显示的主机名，执行如下命令。http://主节点IP地址:9870。三台机器的名称和IP。如果出现如下图，说明连接成功。无密码登录本机和访问集群机器。自动跳转到cluster页面。来测试三台电脑的连通性。中才会看到机器名的变化。
Centos安装Hadoop（含多虚拟机Hadoop集群搭建）
最新发布
m0_64068185的博客
07-28 1145
Centos下安装Hadoop集群
hadoop3 集群安装部署
qq_46359227的博客
05-03 254
hadoop3 集群安装部署
CentOS下Hadoop搭建
土豆~的博客
10-04 2248
本文章以记录自己所学，供大家参考。
Centos中Hadoop安装详细过程（含图文）
weixin_43333607的博客
01-12 1万+
CentOS中hadoop的安装 安装环境 虚拟机上三台centos系统 使用NET模式连接有线网络 在命令行使用ifconfig命令查看静态IP地址 Xshell5安装在Windows上，用于连接虚拟机 所需软件下载 Hadoop官网下载Hadoop：http://hadoop.apache.org/ JDK官网下载：https://www.oracle.com/technet...
CentOS7安装Hadoop3完全分布式
大头皮鞋的博客
04-01 8365
前提条件 拥有CentOS7服务器版环境 集群规划 项目 服务器node2 服务器node3 服务器node4 HDFS NameNode、DataNode DataNode DataNode、SecondaryNameNode Yarn NodeManager Resourcemanager、NodeManager NodeManager 虚拟机准备 通网络 能ping通外网，例如： ping baidu.com 如
Linux中Centos7搭建Hadoop服务步骤
09-15
本文将详细介绍如何在CentOS 7环境中搭建Hadoop集群的基本步骤，帮助读者快速上手。 #### 二、准备工作 1. **操作系统**: 本教程适用于CentOS 7系统。 2. **JDK环境**: 需要预先配置好JDK环境。 3. **Hadoop版本**...
在CentOS中搭建Hadoop的详细步骤
09-15
在CentOS中搭建Hadoop可以分为几个关键步骤，主要包括环境准备、SSH配置、Java环境安装以及Hadoop的安装与配置。 1. **环境准备**： - 虚拟机：这里使用的是VMware Pro 14作为虚拟机软件。 - 操作系统：安装...
centos安装配置hadoop超详细过程.docx
05-19
### CentOS安装配置Hadoop超详细过程 #### 一、Hadoop概述 Hadoop是一个由Apache基金会维护的开源分布式计算平台，其核心组件包括Hadoop分布式文件系统(HDFS)和MapReduce计算框架。HDFS用于存储大规模数据集，而...
Hadoop平台搭建CentOS7的安装步骤
03-15
### Hadoop平台搭建CentOS7的安装步骤 #### 一、前言 在大数据处理领域，Hadoop无疑占据着举足轻重的地位。Hadoop是一个能够对大量数据进行分布式处理的软件框架，它使得可以高效地处理PB级别的数据。本文将详细...
【大数据折腾不息系列】(二) Hadoop 3.0 安装
不负热爱
07-01 2926
Hadoop自诞生至今已经成为了事实上的大数据标准，基于最初的Hadoop框架，有很多优秀的大数据组件被开发创造出来了，一步步形成了如今庞大的Hadoop生态。因此，对于想要接触了解大数据的人来说，学习Hadoop是必不可少的。因此，首先还是要从安装Hadoop开始。本文将尽可能以最简单的方式、最少的步骤搭建起一个可以使用的单节点伪分布式Hadoop。.........
从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）
ADwenwen的博客
07-31 4608
目录 零、前言 一、虚拟机安装及CentOS系统配置 二、CentOS系统及网络配置 三、SSH无密码登录 四、Java安装及环境配置 五、Hadoop0.20.0伪分布环境安装 六、运行示例 七、参考与感谢 零、前言 （一）、前言 最近在做wikipedia的东西，需要大规模处理数据，因此就需要使用hadoop工具操作。一开始想安装的linux版本是ubuntu 14和ha...
centos7 Hadoop的下载、配置、格式化、启动、环境变量的修改与关闭
lyl18222的博客
11-08 870
（在hadoop-3.1.4 de sbin目录中）通过 echo $JAVA_HOME 获取路径。1.通过xftp下载Hadoop压缩包。再重复2步骤，通过jps查看进程。2.进入xshell解压。宿主机上修改，host文件。在master上操作。
大数据必知必会：Hadoop（3）集群环境安装
wux_labs的博客
01-22 1212
Hadoop分布式集群环境安装
hadoop3 完全分布式安装
qq_34304427的博客
09-08 2353
创建一个脚本，用于同步不同服务器之间的文件，比如在 102 上修改完一些文件，借用下方脚本可以直接同步到 103 和 104。在 /etc/sudoers 文件内容的下图的位置添加如下内容，从而开启 sudo 权限并允许免密切换到 root。我们在执行上面脚本的时候，每次都需要输入密码，很是麻烦，这里我们可以通过配置 ssh 免密从而减少操作。我们检查集群是否启动成功，每次都需要到不同的服务器执行 jps 命令，很不方便。我们可以创建一个脚本，封装集群的启动和关闭，方便操作。
大数据最全Hadoop3的安装_安装hadoop3
2401_84159911的博客
05-04 683
指定secondarynamenode运行位置设置SNN进程运行机器位置信息node2:9868设置MR程序默认运行模式： yarn集群模式 local本地模式yarnMR程序历史服务器端地址历史服务器web端地址设置YARN集群主角色运行机器位置node1是否将对容器实施物理内存限制false是否将对容器实施虚拟内存限制。false开启日志聚集true设置yarn历史服务器地址。
【大数据基础】Hadoop3.1.3安装教程
Algernon98的博客
02-27 2318
安装java环境+Hadoop 安装+单机配置+伪分布式实例
centos安装Hadoop
09-10
### 回答1： 以下是在 CentOS 上安装 Hadoop 的步骤： 1. 安装 Java 首先，您需要安装 Java。在 CentOS 上，您可以使用以下命令安装 OpenJDK： ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载和解压 Hadoop 您可以从 Hadoop 官方网站下载最新的 Hadoop 发行版。下载完成后，您可以使用以下命令解压缩文件： ``` tar -zxvf hadoop-x.x.x.tar.gz ``` 3. 配置 Hadoop 进入 Hadoop 目录，编辑 core-site.xml 文件： ``` cd hadoop-x.x.x cd etc/hadoop sudo nano core-site.xml ``` 在文件中添加以下配置： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 然后编辑 hdfs-site.xml 文件： ``` sudo nano hdfs-site.xml ``` 在文件中添加以下配置： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///home/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///home/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` 将 "/home/hadoop/hadoop_data" 替换为您要用于存储 Hadoop 数据的实际目录。 最后，编辑 mapred-site.xml 文件： ``` sudo cp mapred-site.xml.template mapred-site.xml sudo nano mapred-site.xml ``` 在文件中添加以下配置： ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 4. 配置环境变量 打开 .bashrc 文件： ``` nano ~/.bashrc ``` 在文件末尾添加以下内容： ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 将 "/path/to/hadoop" 替换为实际的 Hadoop 安装路径。 5. 启动 Hadoop 使用以下命令格式启动 Hadoop： ``` start-dfs.sh start-yarn.sh ``` 这将启动 HDFS 和 YARN。 6. 检查 Hadoop 是否正常运行 您可以使用以下命令检查 Hadoop 是否正在运行： ``` jps ``` 如果一切正常，您应该看到以下进程： ``` DataNode NameNode ResourceManager SecondaryNameNode NodeManager ``` 这就是在 CentOS 上安装 Hadoop 的基本步骤。请注意，在实际生产环境中，您需要进行更多的配置和安全性设置。 ### 回答2： CentOS系统是一种广泛使用的Linux发行版，Hadoop是一个开源分布式计算平台。下面是在CentOS系统上安装Hadoop的步骤： 1. 在CentOS系统上安装Java Development Kit（JDK）。Hadoop依赖于Java，因此需要先安装JDK。可以通过命令`sudo yum install java-devel`进行安装。 2. 下载Hadoop的压缩包。可以从Hadoop官方网站（https://hadoop.apache.org/releases.html）下载最新版本的Hadoop。 3. 解压Hadoop压缩包。可以使用命令`tar -zxvf hadoop-<version>.tar.gz`来解压，其中`<version>`是下载的Hadoop版本号。 4. 配置Hadoop环境变量。打开文件`~/.bashrc`，在末尾添加以下内容： ``` # Hadoop export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin ``` 这里将`/path/to/hadoop`替换为解压后Hadoop的目录路径。 5. 配置Hadoop文件。进入Hadoop的具体目录，打开文件`etc/hadoop/hadoop-env.sh`，找到并修改以下行： ``` export JAVA_HOME=/usr/lib/jvm/java-<version>-openjdk ``` 将上述`<version>`替换为安装的Java版本号。 6. 配置Hadoop集群。在`etc/hadoop`目录中找到并编辑文件`core-site.xml`、`hdfs-site.xml`和`mapred-site.xml`，根据需求进行对应的配置。 7. 格式化Hadoop文件系统。运行命令`hdfs namenode -format`来格式化Hadoop文件系统。 8. 启动Hadoop集群。运行命令`start-dfs.sh`来启动Hadoop的分布式文件系统（HDFS），然后运行命令`start-yarn.sh`来启动YARN资源管理器。 完成上述步骤后，Hadoop将成功安装在CentOS系统上。可以通过访问相关的Web界面来管理和监控Hadoop集群。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值