【大数据实验】01：Hadoop3伪分布部署

已于 2022-04-25 14:48:39 修改
阅读量3.7k 收藏 17
点赞数 1
分类专栏： Python数据挖掘 文章标签： hadoop
于 2022-03-29 17:28:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49167174/article/details/123827164
版权

Hadoop3伪分布部署

OVERVIEW

实验环境：

硬件：Ubuntu16.04

软件：JDK1.8、Hadoop3.3.0

数据存放路径：~/dataset

tar包路径：~/software

tar包压缩路径：~/bigdata

软件安装路径:/opt

实验设计创建文件：~/resource

Hadoop3环境搭建（本地模式）

1.实验原理：

Hadoop运行模式分为本地运行模式、伪分布运行模式、集群运行模式。

Hadoop3的本地模式，指的是Hadoop各组件程序都运行在同一个JVM上，不需要单独启动任何Hadoop进程。这种模式适宜用在开发阶段。

2.实验步骤：
（1）安装JDK8

Hadoop3的运行需要JDK8的支持，必须先安装JDK8环境

# 1.JDK安装包解压
tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm/
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
# 3.测试JDK安装
java -version

在这里插入图片描述

（2）安装Hadoop3
# 1.Hadoop3安装包解压
tar -zxvf hadoop-3.1.3.tar.gz -C ~/bigdata/
mv hadoop-3.1.3 hadoop
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
source /etc/profile
# 3.测试Hadoop3安装
hadoop version

在这里插入图片描述

（3）在Hadoop3上执行MR程序
# 运行pi程序，先进入到程序示例.jar包所在的目录，然后运行MR程序
cd ~/bigdata/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar pi 10 20 #在输出内容中，可以找到计算出的PI值

在这里插入图片描述

Hadoop3环境搭建（伪分布模式）

掌握Hadoop3伪分布模式环境的搭建、文件配置和环境测试。

1.实验原理：

Hadoop的运行模式分为3种：本地运行模式，伪分布运行模式，集群运行模式。

伪分布模式是将守护程序运行在本地主机，模拟一个小规模集群。这里不但需要本地模式的操作过程，需要对配置文件进行配置

2.实验步骤
（1）安装JDK8
# 1.JDK安装包解压
tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm/
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
# 3.测试JDK安装
java -version
（2）配置SSH免密登录

Hadoop在启动过程中是通过SSH远程操作的，所以在不做特殊配置下每次启动到相关节点时都要输入密码。

如果想避免每次都输入密码，需要设置免密登录。

# 1.生成密钥
rm -rf ~/.ssh #若设备已经提前配置需要先删除
ssh-keygen #在目录~/.ssh/下会生成两个文件：id rsa私钥、id_rsa.pub公钥
# 2.将公钥写入认证文件中，则下次登录可以实现免密登录
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

在这里插入图片描述

（3）安装Hadoop3
# 1.Hadoop3安装包解压
tar -zxvf hadoop-3.1.3.tar.gz -C ~/bigdata/
mv hadoop-3.1.3 hadoop
# 2.配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
source /etc/profile
# 3.测试Hadoop3安装
hadoop version
（4）Hadoop伪分布式配置

Hadoop共需要配置5个文件（可选地配置workers文件）均位于Hadoop安装目录下的etc/hadoop/子目录下

cd ~/bigdata/hadoop/etc/hadoop
# 1.配置hadoop-env.sh文件
vim hadoop-env.sh #找到并修改JAVA_HOME属性的值
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

# 2.配置core-site.xml文件
vim core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.172.129:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/root/bigdata/hadoop/tmp</value>
	</property>
</configuration>

# 3.配置hdfs-site.xml文件
vim hdfs-site.xml
<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/root/bigdata/hadoop/tmp/dfs/name</value>
		<description>为了保证元数据的安全一般配置多个不同目录</description>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/root/bigdata/hadoop/tmp/dfs/data</value>
		<description>datanode的数据存储目录</description>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
		<description>HDFS的数据块的副本存储个数，默认是3</description>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
</configuration>

# 4.配置mapred-site.xml文件
vim mapred-site.xml
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.application.classpath</name>
		<value>$HADOOP_HOME/share/hadoop/mapreduce/*:$HADOOP_HOME/share/hadoop/mapreduce/lib/*</value>
	</property>	
</configuration>

# 5.配置yarn-site.xml文件
vim yarn-site.xml
<configuration>
	<!-- Site specific YARN configuration properties -->
	<!-- 指定ResourceManager的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>192.168.172.129</value>
	</property>
	<!-- 指定reducer获取数据的方式-->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>file:/root/bigdata/hadoop/yarn/nm</value>
	</property>
</configuration>
（5）格式化文件系统

格式化HDFS(仅需执行格式化一次)，在终端窗口执行下面的命令

cd ~/bigdata/hadoop/bin/
./hdfs namenode -format

如果因为某些原因需要从头重新配置集群，那么在重新格式化HDFS之前，先把Haoop下的tmp目录删除。

tmp目录是在hdfs-site.xml文件中自己指定的，其下有两个子目录name和data，重新格式化之前必须删除它们。

格式化namenode，实际上就是在namenode上创建一块命名空间。在创建过程中会加载所配置的文件，检验是否配置正确。

如何检验hdfs格式化是否成功？

（6）在Hadoop集群上执行MapReduce程序
# 1.修该配置文件/etc/profile
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export HADOOP_HOME=/root/bigdata/hadoop
export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

# 2.启动启动HDFS集群
cd ~/bigdata/hadoop/sbin
./start-dfs.sh
jps #使用jps命令查看当前节点上运行的服务
# 3.成功启动后，可以通过Web界面查看NameNode和Datanode信息和HDFS文件系统。NameNode Web接口：http://localhost:9870
# 4.启动yarn:
cd ~/bigdata/hadoop/sbin
./start-yarn.sh
jps
# 5.启动historyserver历史服务器和timelineserver时间线服务器
cd ../bin/
./mapred --daemon start historyserver
./yarn --daemon start timelineserver
# 6.运行pi程序，先进入到程序示例.jar包所在的目录，然后运行MR程序
cd ~/bigdata/hadoop/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-3.1.3.jar pi 1 2 #在输出内容中，可以找到计算出的PI值
# 7.可以通过 Web 界面查看
打开浏览器，在地址栏输入：http://localhost:8088
查看任务进度：http://localhost:8088/cluster 
在 Web 界面点击 “Tracking UI” 这一列的 History 连接，可以看到任务的运行信息。
同样，URL中的cda是我的机器名，请替换为你自己的机器名。
# 8.关闭集群
cd ~/bigdata/hadoop/sbin
./stop-yarn.sh
./stop-dfs.sh
cd ../bin
./mapred --daemon stop historyserver
./yarn --daemon stop timeline
（7）实验记录

step2：首先启动HDFS集群，使用jps命令查看当前节点上运行的服务

在这里插入图片描述

step3：成功启动后，通过Web界面查看NameNode和Datanode信息和HDFS文件系统。NameNode Web接口：http://localhost:9870

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

step7：运行pi程序，先进入到程序示例.jar包所在的目录，然后运行MR程序

在这里插入图片描述

step8：在浏览器地址栏输入http://localhost:8088/cluster 查看任务进度：

在这里插入图片描述

在这里插入图片描述

hello world 999
关注
  • 1
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Linux中的JDK和Hadoop的安装与配置
qq_64451048的博客
04-10 401
Linux中的JDK和Hadoop的安装与配置
Hadoop 3.x安装部署详细手顺
xiaokebiubiubiu的博客
03-09 3105
一、准备工作 Ambari、HDP版本介绍 Ambari 2.7.3仅支持HDP-3.1.0，HDP-3.0.1，HDP-3.0.0使用以下URL确定对每个产品版本的支持https://supportmatrix.hortonworks.com/，以及下载报告 工具包下载 ambari-2.7.3.0： http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-c
大数据技术原理（二）：搭建hadoop伪分布式集群这一篇就够了
最新发布
m0_60732994的博客
05-23 1438
一、实验目的 1.理解Hadoop伪分布式的安装过程 实验内容涉及Hadoop平台的搭建和配置，旨在提高对大数据处理框架的理解和实践能力。通过完成本实验，将能够独立完成Hadoop伪分布式环境的安装和配置。 2.学会JDK安装和编译hadoop源码包 同时，通过手动编译hadoop源码包，还将能够更深入地了解Hadoop的内部原理和工作机制，通过解决问题并不断思考，具备根据需求进行扩展和定制的能力。 3.学会Hadoop伪分布式安装和参数配置 修改Hadoop的配置文件，包括core-site.xml、
(防坑笔记)hadoop3.0 (一) 环境部署与伪分布式(hdfs)
m0_54852350的博客
04-14 1094
防坑留名： 为了避免以后自己遇到什么坑爹的东西，先留脚印给自己。这个hadoop呢，主要是可以让用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。这点比较厉害了。 它主要是用来做数据分析，支持低端服务器集群(这点美滋滋- - ），先抓取大量数据，利用数据运算分析，获取日志，显示报表~； 本例子用的 环境： jdk 1.8.0_152 centos7 hadoop3.0 通解：（分布式文件管理系统） 一个电脑或操作系统管辖的范围存不下的文件，分布到更多的操作系统上，
记一次 Hadoop 3.x 集群 YARN 启动 timelineserver（ApplicationHistoryServer） 服务
一花一世界
01-10 3270
一、Hadoop 集群背景 1、安装OpenJDK1.8 并查看安装位置 https://blog.csdn.net/llwy1428/article/details/111144659 2、Centos7.x 安装部署 Zookeeper 3.6.2 集群 https://blog.csdn.net/llwy1428/article/details/111601567 3、Hadoop 3.x 部署 YARN 集群及基本操作 https://blog.csdn.net/llwy1428/article/d
(14)YARN Timeline Server
sun
03-22 3226
概述 介绍当前状态时间轴结构 部署 配置运行时间线服务器通过命令行访问通用数据 发布应用程序的具体数据时间线服务器REST API通用数据REST API 概述 介绍 通过时间轴服务器在YARN中以通用方式存储和检索应用程序的当前和历史信息。它有两个责任： 坚持应用程序特定信息 收集和检索完全具体到应用程序或框架的信息。例如，Hadoop MapReduc
Hadoop单机伪分布完全分布实验文档
04-10
本实验文档集合了对Hadoop在不同环境下的部署和操作实践，包括单机伪分布和完全分布的模式，以及相关的云计算技术介绍。以下是这些知识点的详细阐述： 1. **Hadoop单机伪分布模式**： 单机伪分布模式是Hadoop初学...
Hadoop大数据管理实验详细参考文档
06-23
"大数据管理实验之二Hadoop的安装与部署.docx"详尽介绍了Hadoop的安装步骤和集群配置。文档可能包含单节点模式、伪分布式模式和完全分布式模式的安装教程，以及Hadoop环境变量配置、NameNode和DataNode的启动与管理...
Hadoop部署实验.docx
06-28
Hadoop 部署实验指南 本文档涵盖了 Hadoop 部署的基本概念、实验步骤、分布式安装和 MapReduce 应用程序实践。该文档旨在帮助读者了解 Hadoop 的基本架构、HDFS 和 MapReduce 的原理，并掌握 Hadoop 的多节点部署...
大数据实验报告 (2).zip
06-17
大数据实验报告，内含八个实验报告，Hadoop集群伪分布式搭建、Hadoop基本操作、MapReduce程序设计、Zookeeper安装与Hadoop高可用性部署、Hbase数据储存设计、 Sqoop数据迁移实战、Flume数据采集实战、Hive数据分析...
大数据实验Hbase安装部署和使用javaapi调用.pdf
11-02
【大数据实验Hbase安装部署和使用javaapi调用】 在这个实验中，我们将深入理解HBase在Hadoop生态系统中的角色，并掌握如何在Ubuntu 19.04操作系统上安装、配置和使用HBase，同时利用Java API进行编程。实验中使用的...
hadoop3.2.1伪分布集群各组件安装教程.pdf
03-31
根据实战安装步骤，详细描述hadoop3.2.1、hive3.1.2（包括mysql5.7）、zookeeper3.6、hbase2.2.4、flume1.90、sqoop1.4.7各组件安装步骤,记录过程中的各种坑，方便各位看官快速安装部署hadoop伪分布集群。
CentOS7下Hadoop3.2.1集群的安装与部署（上）
01-07
本篇文章将详细介绍如何在CentOS7服务器上安装并配置Hadoop3.2.1高可用集群。           Hadoop-HA集群的节点规划如下： IP Address Host Name Node Type User Name 172.16.250.234 DN1/JN1 DataNode/JournalNode hadoop 172.16.250.237 DN2/JN2/RM1 DataNode/JournalNode/ResourceManager hadoop 172.16.250.238 DN3/JN3/RM
Hadoop3 集群搭建
weixin_42660202的博客
02-22 685
Hadoop3集群
Hadoop——实验二：Hadoop集群单节点非分布和伪分布安装
maochaofei的博客
06-13 912
文章目录一. 实验目的二. 实验内容三. 实验步骤及结果分析 1. 安装ssh、配置ssh无密码登录 1.1 更新apt 1.2 修改主机名为K1 1.3 安装SSH 1.4 配置SSH无密码登录 2. 安装Java 3. 安装Hadoop单节点非分布式和伪分布式 3.1 安装Hadoop单节点非分布式 3.2 安装Hadoop伪分布式 3.3 启动Hadoop 一. 实验目的   掌握Hadoop集群单节点非分布和伪分布安装部署技术。 二. 实验内容   1）安装SSH、配置SSH无密码登录。   2）安
Hadoop系列之九：Hadoop集群伪分布式模式的实现详解
weixin_34209851的博客
01-05 227
1、Hadoop依赖软件 Hadoop基于Java语言开发，因此其运行严重依赖于JDK(Java Development Kit)，并且Hadoop的许多功能依赖于Java 6及以后的版本才提供的特性。Hadoop可以良好地运行于经过测试的各JDK，如Sun JDK、OpenJDK、Oracle JRockit、IBM JDK各自实现的某些版本。但迄今为止，HotSpot JVM仍是性能最好...
部署Hadoop（3.3.0）伪分布式集群
xys2333的博客
11-01 1672
前言: 本文主要介绍部署Hadoop（3.3.0）伪分布式集群 注：本文部署伪分布式集群的前提是已经装好hadoop（3.3.0）以及jvm。 一、什么叫做伪分布式？ 顾名思义，伪分布就是假分布式，假就假在只有一台机器而不是多台机器来完成一个任务,但是模拟了分布式的这个过程，所以伪分布式下Hadoop也就是虽然在一个机器上配置了hadoop的所有节点，但伪分布式完成了所有分布式所必须的事件。伪分布式Hadoop和单机版最大区别就在于需要配置HDFS。 二、配置伪分布式Hadoop集群 1...
Ubuntu16.04环境下搭建Hadoop3.0.3伪分布式集群
菜鸟不会飞
11-14 1756
    最近刚好赶上双11腾讯促销，于是抢购了一个8核16G内存的云服务器，加上业务上需要用到hadoop，hive，于是想搭建搭建一个hadoop分布式集群，但是限于自己手头上服务器数量不多，因此打算先搭建一个hadoop伪分布式集群。   首先介绍一下我的安装环境：   （1）java version        （2）hadopp version     接下来，开始我的环境搭...
CentOS下Hadoop3.2的伪分布式和集群安装
zgustb的专栏
12-25 439
一.安装需求 jdk-13.0.1_linux-x64_bin.tar.gz hadoop-3.2.1.tar.gz 二.环境准备 准备三台CentOS虚拟机，一台Master，两台Slave。 192.168.108.130 hadoop-master 192.168.108.131 hadoop-slave1 192.168.108.132 hadoop-slave2 备注：如果是...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值