【大数据实验】01：Hadoop3伪分布部署

已于 2022-04-25 14:48:39 修改
阅读量3.7k 收藏 17
点赞数 1
分类专栏： Python数据挖掘 文章标签： hadoop
于 2022-03-29 17:28:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49167174/article/details/123827164
版权

Hadoop3伪分布部署

OVERVIEW

实验环境：

硬件：Ubuntu16.04

软件：JDK1.8、Hadoop3.3.0

数据存放路径：~/dataset

tar包路径：~/software

tar包压缩路径：~/bigdata

软件安装路径:/opt

实验设计创建文件：~/resource

Hadoop3环境搭建（本地模式）

1.实验原理：

Hadoop运行模式分为本地运行模式、伪分布运行模式、集群运行模式。

Hadoop3的本地模式，指的是Hadoop各组件程序都运行在同一个JVM上，不需要单独启动任何Hadoop进程。这种模式适宜用在开发阶段。

2.实验步骤：
（1）安装JDK8

Hadoop3的运行需要JDK8的支持，必须先安装JDK8环境

# 1.JDK安装包解压
tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm/
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
# 3.测试JDK安装
java -version

在这里插入图片描述

（2）安装Hadoop3
# 1.Hadoop3安装包解压
tar -zxvf hadoop-3.1.3.tar.gz -C ~/bigdata/
mv hadoop-3.1.3 hadoop
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
source /etc/profile
# 3.测试Hadoop3安装
hadoop version

在这里插入图片描述

（3）在Hadoop3上执行MR程序
# 运行pi程序，先进入到程序示例.jar包所在的目录，然后运行MR程序
cd ~/bigdata/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar pi 10 20 #在输出内容中，可以找到计算出的PI值

在这里插入图片描述

Hadoop3环境搭建（伪分布模式）

掌握Hadoop3伪分布模式环境的搭建、文件配置和环境测试。

1.实验原理：

Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式。

伪分布模式是将守护程序运行在本地主机，模拟一个小规模集群。这里不但需要本地模式的操作过程，需要对配置文件进行配置

2.实验步骤
（1）安装JDK8
# 1.JDK安装包解压
tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm/
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
# 3.测试JDK安装
java -version
（2）配置SSH免密登录

Hadoop在启动过程中是通过SSH远程操作的，所以在不做特殊配置下每次启动到相关节点时都要输入密码。

如果想避免每次都输入密码，需要设置免密登录。

# 1.生成密钥
rm -rf ~/.ssh #若设备已经提前配置需要先删除
ssh-keygen #在目录~/.ssh/下会生成两个文件：id rsa私钥、id_rsa.pub公钥
# 2.将公钥写入认证文件中，则下次登录可以实现免密登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在这里插入图片描述

（3）安装Hadoop3
# 1.Hadoop3安装包解压
tar -zxvf hadoop-3.1.3.tar.gz -C ~/bigdata/
mv hadoop-3.1.3 hadoop
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
source /etc/profile
# 3.测试Hadoop3安装
hadoop version
（4）Hadoop伪分布式配置

Hadoop共需要配置5个文件（可选地配置workers文件）均位于Hadoop安装目录下的etc/hadoop/子目录下

cd ~/bigdata/hadoop/etc/hadoop
# 1.配置hadoop-env.sh文件
vim hadoop-env.sh #找到并修改JAVA_HOME属性的值
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

# 2.配置core-site.xml文件
vim core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.172.129:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/root/bigdata/hadoop/tmp</value>
	</property>
</configuration>

# 3.配置hdfs-site.xml文件
vim hdfs-site.xml
<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/root/bigdata/hadoop/tmp/dfs/name</value>
		<description>为了保证元数据的安全一般配置多个不同目录</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/root/bigdata/hadoop/tmp/dfs/data</value>
		<description>datanode的数据存储目录</description>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
		<description>HDFS的数据块的副本存储个数，默认是3</description>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
</configuration>

# 4.配置mapred-site.xml文件
vim mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.application.classpath</name>
		<value>$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*</value>
	</property>	
</configuration>

# 5.配置yarn-site.xml文件
vim yarn-site.xml
<configuration>
	<!-- Site specific YARN configuration properties -->
	<!-- 指定ResourceManager的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>192.168.172.129</value>
	</property>
	<!-- 指定reducer获取数据的方式-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>file:/root/bigdata/hadoop/yarn/nm</value>
	</property>
</configuration>
（5）格式化文件系统

格式化HDFS(仅需执行格式化一次)，在终端窗口执行下面的命令

cd ~/bigdata/hadoop/bin/
./hdfs namenode -format

如果因为某些原因需要从头重新配置集群，那么在重新格式化HDFS之前，先把Haoop下的tmp目录删除。

tmp目录是在hdfs-site.xml文件中自己指定的，其下有两个子目录name和data，重新格式化之前必须删除它们。

格式化namenode，实际上就是在namenode上创建一块命名空间。在创建过程中会加载所配置的文件，检验是否配置正确。

如何检验hdfs格式化是否成功？

（6）在Hadoop集群上执行MapReduce程序
# 1.修该配置文件/etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# 2.启动启动HDFS集群
cd ~/bigdata/hadoop/sbin
./start-dfs.sh
jps #使用jps命令查看当前节点上运行的服务
# 3.成功启动后，可以通过Web界面查看NameNode和Datanode信息和HDFS文件系统。NameNode Web接口：http://localhost:9870
# 4.启动yarn:
cd ~/bigdata/hadoop/sbin
./start-yarn.sh
jps
# 5.启动historyserver历史服务器和timelineserver时间线服务器
cd ../bin/
./mapred --daemon start historyserver
./yarn --daemon start timelineserver
# 6.运行pi程序，先进入到程序示例.jar包所在的目录，然后运行MR程序
cd ~/bigdata/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar pi 1 2 #在输出内容中，可以找到计算出的PI值
# 7.可以通过 Web 界面查看
打开浏览器，在地址栏输入：http://localhost:8088
查看任务进度：http://localhost:8088/cluster 
在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息。
同样，URL中的cda是我的机器名，请替换为你自己的机器名。
# 8.关闭集群
cd ~/bigdata/hadoop/sbin
./stop-yarn.sh
./stop-dfs.sh
cd ../bin
./mapred --daemon stop historyserver
./yarn --daemon stop timeline
（7）实验记录

step2：首先启动HDFS集群，使用jps命令查看当前节点上运行的服务

在这里插入图片描述

step3：成功启动后，通过Web界面查看NameNode和Datanode信息和HDFS文件系统。NameNode Web接口：http://localhost:9870

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

step7：运行pi程序，先进入到程序示例.jar包所在的目录，然后运行MR程序

在这里插入图片描述

step8：在浏览器地址栏输入http://localhost:8088/cluster 查看任务进度：

在这里插入图片描述

在这里插入图片描述

hello world 999
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Hadoop3伪分布式搭建
Mr_MG的博客
03-13 664
Hadoop伪分布式环境搭建实验要求实验步骤虚拟机安装（VMWare）前置配置伪分布式配置 实验要求 完成Hadoop伪分布式搭建 实验步骤 虚拟机安装（VMWare） 访问：https://www.vmware.com/cn.html 选择版本以及操作系统 密钥百度搜一下一堆 安装操作系统 默认选项 下一步 选择Linux系统 此处我用CentOS 7 自行下载 设置虚拟机名称 改一下存放位置 如果你的内存是16g 处理器数量*每个处理器的内核 不要超过16g 如果要弄
Hadoop单机伪分布完全分布实验文档
04-10
本实验文档集合了对Hadoop在不同环境下的部署和操作实践，包括单机伪分布和完全分布的模式，以及相关的云计算技术介绍。以下是这些知识点的详细阐述： 1. **Hadoop单机伪分布模式**： 单机伪分布模式是Hadoop初学...
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)
热门推荐
CoffeeAndIce的博客
12-23 1万+
防坑留名： 为了避免以后自己遇到什么坑爹的东西，先留脚印给自己。这个hadoop呢，主要是可以让用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。这点比较厉害了。 它主要是用来做数据分析，支持低端服务器集群(这点美滋滋- - ），先抓取大量数据，利用数据运算分析，获取日志，显示报表~~~~~；
大数据技术原理（二）：搭建hadoop伪分布式集群这一篇就够了
最新发布
m0_60732994的博客
05-23 1438
一、实验目的 1.理解Hadoop伪分布式的安装过程 实验内容涉及Hadoop平台的搭建和配置，旨在提高对大数据处理框架的理解和实践能力。通过完成本实验，将能够独立完成Hadoop伪分布式环境的安装和配置。 2.学会JDK安装和编译hadoop源码包 同时，通过手动编译hadoop源码包，还将能够更深入地了解Hadoop的内部原理和工作机制，通过解决问题并不断思考，具备根据需求进行扩展和定制的能力。 3.学会Hadoop伪分布式安装和参数配置 修改Hadoop的配置文件，包括core-site.xml、
hadoop伪分布模式搭建(详细步骤）
m0_61232019的博客
12-22 1万+
一、前期准备 1. 关闭防火墙 2. 安装好JDK 3. 准备hadoop安装包 二、安装hadoop伪分布模式 1. 在home/hadoop/software/路径下创建hadooptmp目录 2. 解压hadoop-3.3.0.tar.gz 3. 进入hadoop-3.3.0/etc/hadoop 4. 编辑hadoop运行是的环境 5. 配置NameNode所在的主机或者通讯地址及NameNode格式化后的目录的路径 6. 配置DataNode的数据块冗余度
01Hadoop3环境搭建-02伪分布模式
寅月十八的博客
10-25 831
文章目录一、实验目的二、实验内容三、实验环境四、实验原理五、实验步骤5.1 安装JDK85.2 配置SSH无密登录5.3 安装Hadoop5.4 Hadoop伪分布式配置5.5 格式化文件系统5.6 在Hadoop3集群上执行MapReduce程序 一、实验目的 掌握Hadoop3伪分布模式环境的搭建、文件配置和环境测试。 二、实验内容 1、在Linux中安装和配置JDK8 2、Hadoop3安装和配置（伪分布模式） 3、Hadoop3安装测试 三、实验环境 硬件：Ubuntu16.04 软件：J
Hadoop大数据管理实验详细参考文档
06-23
"大数据管理实验之二Hadoop的安装与部署.docx"详尽介绍了Hadoop的安装步骤和集群配置。文档可能包含单节点模式、伪分布式模式和完全分布式模式的安装教程，以及Hadoop环境变量配置、NameNode和DataNode的启动与管理...
Hadoop部署实验.docx
06-28
Hadoop 部署实验指南 本文档涵盖了 Hadoop 部署的基本概念、实验步骤、分布式安装和 MapReduce 应用程序实践。该文档旨在帮助读者了解 Hadoop 的基本架构、HDFS 和 MapReduce 的原理，并掌握 Hadoop 的多节点部署...
大数据实验报告 (2).zip
06-17
大数据实验报告，内含八个实验报告，Hadoop集群伪分布式搭建、Hadoop基本操作、MapReduce程序设计、Zookeeper安装与Hadoop高可用性部署、Hbase数据储存设计、 Sqoop数据迁移实战、Flume数据采集实战、Hive数据分析...
大数据实验Hbase安装部署和使用javaapi调用.pdf
11-02
【大数据实验Hbase安装部署和使用javaapi调用】 在这个实验中，我们将深入理解HBase在Hadoop生态系统中的角色，并掌握如何在Ubuntu 19.04操作系统上安装、配置和使用HBase，同时利用Java API进行编程。实验中使用的...
hadoop3 伪分布式安装
qq_34304427的博客
09-08 823
我们在学习的过程中，很难有资源同时准备几台服务器来安装 hadoop，那样成本太高了，即使我们选择虚拟机安装 linux 服务器，宿主机也很难有那么大的内存供我们使用，但是 hadoop 是天然分布式的，为了方便我们学习，hadoop 支持了伪分布式的安装模式。如果是使用 vmware 虚拟机，IP 地址的详细配置请参考：https://www.cnblogs.com/lovling/p/7941201.html。yarn 界面：http://mitchell-101:8088/cluster。
Hadoop3.1.3 伪分布式安装
weixin_63682399的博客
06-18 2019
Hadoop伪分布式安装 伪分布式安装 hadoop # 前言： **Hadoop集群有三种运行模式，单机模式，伪分布模式、完全分布式模式。** 单机模式：只有一个JVM进程数，只运行在一台机器上； 伪分布模式：有多个JVM进程数，运行在同一台机器上； 完全分布式模式：多个JVM进程数，运行在三台或三台以上的机器上。
Hadoop伪分布式搭建(3.0详细步骤搭建)
qq_18219599的博客
04-27 1752
大数据组件更好的兼容搭配起来。接下来，就让我们来搭建Hadoop伪分布式。
Linux中的JDK和Hadoop的安装与配置
qq_64451048的博客
04-10 401
Linux中的JDK和Hadoop的安装与配置
搭建伪分布式的Hadoop
wjjwl521520的博客
10-19 381
sbin目录 - 存放启动和关闭Hadoop等命令。ib目录 - 存放hadoop运行的依赖jar包。目录 - 存放hadoop的配置文件。bin目录 - 存放命令脚本。
大数据行业部署实战1：Hadoop伪分布式部署
定期分享我的发现和想法，感谢你的陪伴和支持
12-22 3520
实验一、Hadoop伪分布式部署1.Hadoop 介绍1.1 Hadoop 生态系统1.2 Apache 版本衍化2. Hadoop-2.7.3 伪分布安装2.1 （配置从这开始）软硬件环境说明Hadoop搭建环境：2.2 环境搭建2.2.1 设置hosts文件映射2.2.2 设置操作系统环境2.3 Hadoop环境搭建2.3.1 在/app下创建hadoop目录2.3.2 下载并解压hadoop安装包2.3.3 在hadoop安装目录下创建子目录2.3.4设置环境变量2.3.5 配置hadoop-env.
Hadoop3.x环境搭建、伪分布式部署、集群部署
09-16
Hadoop 3.x中引入了一些重要的功能和优化，因此很有必要掌握Hadoop3.x。 本课程通过老师的讲解，你可以熟悉Hadoop3.x环境搭建、伪分布式部署、集群部署。 课程目录：1、Hadoop3.x环境基础环境构建2、Hadoop3.x伪分布式部署3、Hadoop3.x伪分布式部署补充4、Hadoop3.x HA集群部署5、Hadoop3.x HA集群部署补充
Hadoop3.x搭建（1）伪分布式【学不会我直接躺下】
qq_74016034的博客
04-01 884
hadoop伪分布搭建
大数据技术实验：Hadoop与Spark实践
"该实验文档主要探讨大数据技术在Hadoop和Spark平台上的应用，涵盖了分布式平台的搭建、Hadoop和Spark的安装、MapReduce实验以及Spark的基本操作。实验内容包括HDFS的使用、HBase数据库的安装配置及操作、MapReduce...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值