搭建Hadoop2.9伪分布集群环境

已于 2023-03-20 21:53:49 修改
阅读量525 收藏 2
点赞数 2
分类专栏： 大数据平台 文章标签： hadoop hdfs 大数据
于 2023-03-19 09:48:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_14910065/article/details/129646445
版权

搭建Hadoop2.9伪分布集群环境

自己创建一个普通用户，用普通用户登录或者用root登录也可以的，具体根据公司的要求来

systemctl stop firewalld
systemctl disable firewalld
hostnamectl set-hostname hadoop1 && bash
useradd hadoop #我创建的用户是hadoop
passwd hadoop #这里输入用户hadoop的密码，连续输入2次
cat >> /etc/hosts << EOF
192.168.243.190 hadoop1
EOF
su - hadoop #替换到hadoop下开始安装
ssh-keygen -t rsa  #命令生成密钥对，一路回车就可以了
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
chmod 700 ~/.ssh/  &&   chmod 600  ~/.ssh/*

如下所需要的安装包hadoop-2.9.2.tar.gz jdk-8u141-linux-x64.tar.gz下载路径： 链接：https://pan.baidu.com/s/1tgi6-WV31O7X7MhA-MPglw?pwd=6666 提取码：6666 --来自百度网盘超级会员V6的分享

1.JDK安装与配置

[hadoop@hadoop1 ~]$ cd /home/hadoop/
[hadoop@hadoop1 ~]$ mkdir app/ 
[hadoop@hadoop1 app]$  cd  app/ 
[hadoop@hadoop1 app]$ pwd  #jdk和hadoop上传到此目录
/home/hadoop/app
[hadoop@hadoop1 app]$ ls  
hadoop-2.9.2.tar.gz  jdk-8u141-linux-x64.tar.gz
[hadoop@hadoop1 app]$ tar -zxvf  jdk-8u141-linux-x64.tar.gz
[hadoop@hadoop1 app]$ ln  -s  jdk1.8.0_141  jdk
[hadoop@hadoop1 app]$ ls
hadoop-2.9.2.tar.gz  jdk  jdk1.8.0_141  jdk-8u141-linux-x64.tar.gz
[hadoop@hadoop1 app]$ cat  >> ~/.bashrc << EOF
JAVA_HOME=/home/hadoop/app/jdk
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH
EOF
[hadoop@hadoop1 app]$ source ~/.bashrc 
[hadoop@hadoop1 app]$ echo $JAVA_HOME
/home/hadoop/app/jdk
[hadoop@hadoop1 app]$  java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)
[hadoop@hadoop1 app]$

2.Hadoop的安装与配置

2.1上传和解压Hadoop

[hadoop@hadoop1 app]$ pwd #把hadoop安装包上传到这里，我已经在上一步上传了
/home/hadoop/app
[hadoop@hadoop1 app]$ ls
hadoop-2.9.2.tar.gz  jdk  jdk1.8.0_141  jdk-8u141-linux-x64.tar.gz
[hadoop@hadoop1 app]$ tar  -zxvf  hadoop-2.9.2.tar.gz
[hadoop@hadoop1 app]$  ln -s hadoop-2.9.2 hadoop
[hadoop@hadoop1 app]$ ls
hadoop  hadoop-2.9.2  hadoop-2.9.2.tar.gz  jdk  jdk1.8.0_141  jdk-8u141-linux-x64.tar.gz
[hadoop@hadoop1 app]$

2.2配置Hadoop
在hadoop安装目录下进入到etc/hadoop目录，修改Hadoop相关配置文件。

1）修改core-site.xml配置文件。
core-site.xml文件主要配置Hadoop的公有属性，具体配置内容如下所示。

[hadoop@hadoop1 hadoop]$ cd /home/hadoop/app/hadoop/etc/hadoop
[hadoop@hadoop1 hadoop]$ vi core-site.xml #<configuration>中间添加如下的信息</configuration>
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://hadoop1:9000</value>
	<!--配置hdfs NameNode的地址，9000是RPC通信的端口-->
</property>
<property>
	<name>hadoop.tmp.dir</name>
	<value>/home/hadoop/data/tmp</value>
	<!--hadoop的临时目录-->
</property>

2）修改hdfs-site.xml 配置文件。
hdfs-site.xml文件主要配置跟HDFS相关的属性，具体配置内容如下所示。

[hadoop@hadoop1 hadoop]$ vi hdfs-site.xml #<configuration>中间添加如下的信息</configuration>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/home/hadoop/data/dfs/name</value>
	<!--配置namenode节点存储fsimage的目录位置-->
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>/home/hadoop/data/dfs/data</value>
	<!--配置datanode节点存储block的目录位置-->
</property>
<property>
	<name>dfs.replication</name>
	<value>1</value>
	<!--配置hdfs副本数量-->
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
	<!--关闭hdfs的权限检查-->
</property>

3）修改hadoop-env.sh配置文件。
hadoop-env.sh文件主要配置跟hadoop环境相关的变量，这里主要修改JAVA_HOME的安装目录，具体配置内容如下所示。

[hadoop@hadoop1 hadoop]$ vi hadoop-env.sh #修改里面的这个环境路径
export JAVA_HOME=/home/hadoop/app/jdk

4）修改mapred-site.xml配置文件。
mapred-site.xml 文件主要配置跟MapReduce 相关的属性，这里主要将MapReduce的运行框架名称配置为YARN，具体配置内容如下所示。

[hadoop@hadoop1 hadoop]$ cp mapred-site.xml.template  mapred-site.xml
[hadoop@hadoop1 hadoop]$ vi mapred-site.xml #<configuration>中间添加如下的信息</configuration>
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
	<!--指定运行mapreduce的环境为YARN-->
</property>

5）修改 yarn-site.xml配置文件。
yarn-site.xml文件主要配置跟YARN 相关的属性，具体配置内容如下所示。

[hadoop@hadoop1 hadoop]$ vi yarn-site.xml #<configuration>中间添加如下的信息</configuration>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
	<!--配置NodeManager执行MR任务的方式为Shuffle混洗-->
</property>

6）修改slaves配置文件。
slaves文件主要配置哪些节点为datanode角色，由于目前搭建的是Hadoop伪分布集群，所以只需要填写当前主机的hostname即可，具体配置内容如下所示。

[hadoop@hadoop1 hadoop]$ vi slaves #修改为你服务器的hostname,不能有回车等
hadoop

7）配置Hadoop环境变量。
在hadoop用户下，添加Hadoop环境变量，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ vi  ~/.bashrc #添加如下信息
export HADOOP_HOME=/home/hadoop/app/hadoop
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
[hadoop@hadoop1 hadoop]$ source ~/.bashrc
[hadoop@hadoop1 hadoop]$ hadoop version
Hadoop 2.9.2

8）创建Hadoop相关数据目录。
在hadoop用户下，创建Hadoop相关数据目录，具体操作如下所示。

mkdir -p /home/hadoop/data/tmp
mkdir -p /home/hadoop/data/dfs/name
mkdir -p /home/hadoop/data/dfs/data

2.3启动Hadoop伪分布集群

（1）格式化主节点namenode
在Hadoop安装目录下，使用如下命令对NameNode进行格式化。

[hadoop@hadoop1 hadoop]$ /home/hadoop/app/hadoop
[hadoop@hadoop1 hadoop]$ bin/hdfs namenode  -format 
注意：第一次安装Hadoop集群需要对NameNode进行格式化，Hadoop集群安装成功之后，下次只需要使用脚本start-all.sh一键启动Hadoop集群即可。

（2）启动Hadoop伪分布集群
在Hadoop安装目录下，使用脚本一键启动Hadoop集群，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ sbin/start-all.sh

（3）查看Hadoop服务进程
通过jps命令查看Hadoop伪分布集群的服务进程，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ jps
[hadoop@hadoop1 hadoop]$ jps
55412 Jps
53815 SecondaryNameNode
53627 DataNode
53979 ResourceManager
54571 NameNode
54285 NodeManager
[hadoop@hadoop1 hadoop]$ 

如果服务进程中包含Resourcemanager、Nodemanager、NameNode、DataNode和SecondaryNameNode等5个进程，这就说明Hadoop伪分布集群启动成功。

（4）查看HDFS文件系统
在浏览器中输入http://192.168.243.190:50070/地址，通过web界面查看HDFS文件系统，具体操作图下图所示：
在这里插入图片描述

（5）查看YARN资源管理系统
在浏览器中输入http://192.168.243.190:8088/地址，通过web界面查看YARN资源管理系统，具体操作如下图所示。
在这里插入图片描述

2.4测试运行Hadoop伪分布集群

Hadoop伪分布集群启动之后，我们以Hadoop自带的WordCount案例来检测Hadoop集群环境的可用性。

（1）查看HDFS目录
在HDFS shell中，使用ls命令查看HDFS文件系统目录，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -ls /
由于是第一次使用HDFS文件系统，所以HDFS中目前没有任何目录和文件。

（2）创建HDFS目录
在HDFS shell中，使用mkdir命令创建HDFS文件目录/test，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -mkdir /test

（3）准备测试数据集
在Hadoop根目录下，新建words.log文件并输入测试数据，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ vi words.log
hadoop hadoop hadoop
spark spark spark
flink flink flink

（4）测试数据上传至HDFS
使用put命令将words.log文件上传至HDFS的/test目录下，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -put words.log /test

（5）运行WordCount案例
使用yarn脚本将Hadoop自带的WordCount程序提交到YARN集群运行，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar  wordcount  /test/words.log  /test/out

（6）查看作业运行状态
在浏览器中输入http://192.168.243.190:8088/地址，通过web界面查看YARN中作业运行状态，具体操作如图下图所示。
在这里插入图片描述
如果在YARN 集群的Web界面中，查看到WordCount作业最终的运行状态为SUCCESS，就说明MapReduce程序可以在YARN集群上成功运行。

（7）查询作业运行结果
使用cat命令查看WordCount作业输出结果，具体操作如下所示。

[hadoop@hadoop1 hadoop]$ bin/hdfs dfs -cat /test/out/*
flink	3
hadoop	3
spark	3
如果WordCount运行结果符合预期值，说明Hadoop伪分布式集群已经搭建成功！
qq_14910065
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
摘要 Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella 在 2005 年合作开发。后来，Hadoop 被贡献给了 Apache 基金会，成为 Apache 基金会的开源项目。 Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发了 HDFS（分布式文件系统），并根据 BigTable 原理开发了 HBase 数据存储系统。 Hadoop 和 Google 内部使用的分布式计算系统原理相同，其开源特性使其成为分布式计算系统的事实上的国际标准。 Yahoo、Facebook、Amazon，以及国内的百度、阿里巴巴等众多
Hadoop 2.9.2集群安装部署
weixin_44519124的博客
10-26 1170
备前提： 1，关闭防火墙 2，关闭selinux 3，安装jdk 4，修改hosts文件 5，修改主机名与ip的对应关系 6，配置免密登入 需要三台（或以上）能够互相访问到的Linux主机 本实验中的三台主机为同一子网下的三台主机，分别为： 192.168.100.251：作为master，运行namenode、datanode结点 192.168.100.252：作为slave1，运行datanode结点 192.168.100.253：作为slave2，运行datanode结点 本次实验使用的是hado
Window10下安装配置Hadoop-2.9.2
wangbin1008的专栏
03-24 869
文章目录一、资源下载1.下载Hadoop-2.9.22.下载Window环境Bin目录文件二、安装配置1.安装文件2.配置环境变量2.读入数据三、启动服务四、测试服务 一、资源下载 1.下载Hadoop-2.9.2 下载地址：http://archive.apache.org/dist/hadoop/core 2.下载Window环境Bin目录文件 下载地址：https://github.com/steveloughran/winutils 二、安装配置 1.安装文件 将下载到的文件hadoop-2.9.
hadoop 2.9.2 完全分布式搭建
QQ_1993445592的博客
09-24 584
博主学习网站 https://bigdataboy.cn/ 0x00 相关配置版本 hadoop ：hadoop 2.9.2 提取码：qtf9 jdk : jdk1.8.0_221 提取码：yjwt centOS : 7.0 提取码：paty 三台虚拟机 虚拟机 ip 192.168.5.133–>master 虚拟机 ip 192.168.5.134–&g...
2021-05-20
abcfgjjkj的博客
05-20 140
Linux上安装Hadoop集群CentOS7+hadoop-2.9.2 1 、软件环境准备 Centos CentOS-7-x86_64-Minimal-1810.iso 1 下载地址 http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1810.iso JDK jdk-8u181-linux-x64.tar.gz 下载地址 https://www.oracle.com/technetwork/j
hadoop2.9 伪集群搭建部署
11-24
hadoop2.9 伪集群安装部署 分析 打通免密登录 Zookeeper 集群搭建 Hadoop 伪集群搭建
Hadoop伪分布式集群环境搭建
10-13
Hadoop伪分布式集群环境搭建，有常见错误及解决方案。
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。NAT网络允许虚拟机通过宿主机与外部网络进行通信，同时保持IP地址的固定性。具体操作包括取消DHCP...
centos搭建Hadoop伪分布
11-21
在使用此文档之前，需要获取jdk压缩包及Hadoop压缩包，在以下百度网盘提供下载 jdk下载地址连接链接：https://pan.baidu.com/s/102vK-eAC7nCUs7pPimnqDQ 提取码：6mvo Hadoop下载地址链接：...
大数据+Hadoop3.X伪分布式集群搭建笔记+练习搭建Hadoop平台
08-08
练习搭建伪分布Hadoop3.X集群，只用于刚刚开始学习搭建hadoo伪分布式集群的人群，帮助大家快速搭建Hadoop3.X伪分布式集群，快速入门大数据为日后的学习打下坚实的基础
hadoop-2.9.2.tar.gz
06-10
hadoop2.9.2源码使用使用centos7 64位虚拟机环境、jdk8、maven3.6编译而成
hadoop-2.9.2
01-14
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
linux下编译过的hadoop jar包--hadoop-2.7.2.zip
05-24
linux下的hadoop jar包--hadoop-2.7.2.zip，用于在linux环境学习测试使用。
tez-0.9.2.tar.gz
06-19
基于hadoop3.2.1编译的tez0.9.2包，自己编译的，欢迎使用，欢迎下载
【Hadoop】Hadoop 2.9.2 HA安装
w1992wishes的博客
05-19 313
文章目录一、准备二、修改配置三、分发四、启动 环境：Ubuntu 16.04 Hadoop 版本：2.9.2 一、准备 1.1、所有节点修改 /etc/hosts 192.168.11.72 master 192.168.11.73 node1 192.168.11.74 node2 192.168.11.75 node3 192.168.11.76 node4 1.2、所有的节点安装 JDK 1.下载对应的 jdk 版本 2.解压到 /usr/local/lib 下， tar -zxvf jdk-xxx
Hadoop入门(七)——Hadoop安装（图文详解步骤2021）
热门推荐
小哨的博客
03-22 8万+
2.4 在 hadoop102 安装 Hadoop Hadoop 下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/ 1 ） 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下 面 注：我在上一篇文章中将hadoop与jdk一起导入了，如果按照我上一篇文章一步步做的就不需要做这一步了 2 ） 进入到 Hadoop 安装包路径下 [l
hadoop-2.9.2伪分布式安装
我的博客
03-17 379
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...
CentOS7上安装Hadoop2.9.2集群
m0_67401134的博客
08-14 363
安装方法: 安装shell6操作虚拟机,打开到/opt/hadoop文件下,使用shell6的rz命令进行下载,把本地的安装包导入虚拟机中,注意如果不去克隆操作那么每个虚拟机都需要导入。2.命名:依次 hservice1,hservice2,hservice3. (即H服务器1,H服务器2,H服务器3)3.主节点:主要配置,配置完主节点,为了方便通过克隆得到2,3从节点 再去修改他的ip hostname 和一些配置。4.把三个虚拟机的主机名改为与虚拟机名称相同,名称很重要,配置中需要用到不可马虎。...
搭建Hadoop的伪分布
最新发布
03-29
模式 搭建Hadoop的伪分布模式需要以下几个步骤： 1. 安装Java环境 Hadoop是基于Java开发的，因此需要先安装Java环境。可以从Oracle官网下载Java开发工具包（JDK）并安装。 2. 配置SSH Hadoop在运行时需要和其他节点通信，因此需要配置SSH以便节点之间的通信。可以使用以下命令生成SSH密钥： ``` ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ``` 接着将公钥复制到`authorized_keys`文件中： ``` cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ``` 3. 下载Hadoop 可以从Hadoop官网下载最新版本的Hadoop。下载完成后解压到指定目录，比如`/usr/local/hadoop`。 4. 配置Hadoop 进入Hadoop目录，找到`/etc/hadoop`目录，修改其中的配置文件。以下是一些常见的配置项： - `core-site.xml`：配置Hadoop的核心参数，比如文件系统的URI、I/O缓存等。 - `hdfs-site.xml`：配置Hadoop分布式文件系统（HDFS）的参数，比如副本数量、数据块大小等。 - `mapred-site.xml`：配置Hadoop MapReduce的参数，比如任务调度器、任务跟踪器等。 - `yarn-site.xml`：配置Hadoop资源管理（YARN）的参数，比如资源调度器、节点管理器等。 5. 启动Hadoop 启动Hadoop需要执行以下命令： ``` sbin/start-all.sh ``` 这会启动Hadoop的各个组件（比如NameNode、DataNode、ResourceManager、NodeManager等）。可以使用以下命令查看Hadoop的运行状态： ``` jps ``` 如果一切正常，可以在浏览器中访问`http://localhost:50070`查看Hadoop的Web UI。 6. 执行Hadoop任务 可以使用Hadoop自带的例子来测试Hadoop的运行情况。比如执行以下命令来运行WordCount任务： ``` bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output ``` 其中`input`和`output`分别是输入和输出的路径。可以使用以下命令查看任务的运行情况： ``` bin/hadoop job -list ``` 执行完成后，可以在`output`目录下查看任务的输出结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

qq_14910065

你的支持是我最大的努力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值