实验一、Hadoop 安装与配置管理

已于 2022-05-11 19:02:25 修改
阅读量702 收藏 6
点赞数 2
分类专栏： Hadoop 文章标签： hadoop linux
于 2022-03-18 19:05:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lilianach/article/details/123290841
版权

hadoop安装与配置

目标：掌握Hadoop安装过程原理

Linux环境准备：

  1. 安装VMware16 虚拟机
  2. 部署Centos8 64bit 操作系统
  3. hadoop-3.3.1.tar.gz
  4. jdk-8u321-linux-x64.tar.gz

伪分布式模式的安装和配置步骤：

一、准备与配置安装环境：安装虚拟机和linux

  • 虚拟机推荐使用vmware,PC可以使用workstation,服务器可 以使用ESXi,在管理上比较方便。ESXi还可以通过拷贝镜像文件复制虚拟机,复制后 自动修改网卡号和ip,非常快捷。如果只是实验用途,硬盘大约预留20-30G空间。
  • linux以Centos为例,分区可以选择默认,安装选项选择Desktop Gnome,以及Server、 Server GUI即可。其它Linux,注意选项里应包括ssh,vi(用于编辑配置文件),perl 等(有些脚本里包含perl代码需要解析)

二、安装jdk

  1. 下载JDK
    去Oracle官网下载JDK：Oracle
    在这里插入图片描述
    先下载到本地,然后通过WinSCP与虚拟机链接将安装包上传到linux虚拟机根目录下的/opt目录中
    在这里插入图片描述
    这里不能将安装包传输过去,因为权限的限制,所以我们先将/opt目录的权限改为可写,先切换到超级用户然后修改权限
    在这里插入图片描述
    然后就可以传输了
    在这里插入图片描述
    切换至/opt目录下查看压缩包
    在这里插入图片描述

  2. 解压
    新建一个/app文件夹，我们之后的软件都将安装在该目录下

    mkdir /app

    然后解压,并将其移动到/app目录下

    tar -zxvf jdk-8u321-linux-x64.tar.gz
mv jdk1.8.0_321 /app

    可以切换到/app目录下查看解压好的文件夹
    在这里插入图片描述

  3. 配置环境变量
    解压好JDK之后还需要在环境变量中配置JDK，才可以使用，接下来就来配置JDK
    输入命令：

    vim /etc/profile

    编辑配置文件

    在文件末尾输入如下代码:
    在这里插入图片描述
    然后保存并退出
    最后：

    source /etc/profile

    使刚刚的配置生效

  4. 测试
    最后测试一下环境变量是否配置成功
    输入：

    java -version

    出现如下界面代表配置成功
    在这里插入图片描述

三、安装hadoop

  1. 下载并解压Hadoop安装包
    去官网下载:https://hadoop.apache.org/releases.html
    在这里插入图片描述
    下载到本地目录之后用同样的方法上传到linux虚拟机的/opt目录下
    来到/opt目录下解压Hadoop的压缩包，然后将解压好的文件移动到/app目录下
    在这里插入图片描述
    切换到/app目录下修改一下hadoop文件夹的名字(这里我不小心写错了,修改后的名字是hadoop3.3,后面改正过来了)
    在这里插入图片描述
    配置Hadoop环境

  2. 设置DNS解析

    vim /etc/hosts

    在文本最后一行追加"(本机ip) hadoop0",注意IP与主机名之间用空格隔开
    在这里插入图片描述

  3. 设置ssh免密登录

    (1)输入如下代码：

    ssh-keygen -t rsa -P ''

    生成无密码密钥对，询问保存路径直接输入回车，生成密钥对：id_rsa和id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。

    接下来：把id_rsa.pub追加到授权的key里面去。

    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    (2)然后修改权限：

    chmod 600 ~/.ssh/authorized_keys

    (3)测试:

    ssh localhost

    在这里插入图片描述

  4. 修改Hadoop配置文件
    (1) hadoop-env.sh配置
    首先切换到hadoop的目录下

    cd /app/hadoop3.3/etc/hadoop/

    编辑 hadoop-env.sh在文件中插入如下代码：

    # The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/app/jdk1.8.0_321

    (2)yarn-env.sh 配置（非必须）
    在yarn-env.sh中插入如下代码:

    export JAVA_HOME=/app/jdk1.8.0_321

    (3) core-site.xml配置
    在文件末尾的configuration标签中添加代码如下：

    <configuration> 
 <property>
    <name>fs.default.name</name>
    <value>hdfs://hadoop0:8088</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/hadoop/tmp</value>
</property>
</configuration>

    (4)hdfs-site.xml文件配置

    replication指的是副本数量，现在是单节点，所以是1.

    <configuration>
<property>
    <name>dfs.name.dir</name>
    <value>/usr/hadoop/hdfs/name</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/hdfs/data</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
</configuration>

    (5)mapred-site.xml文件配置（非必须）

    <configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

    (6)yarn-site.xml配置

    <configuration>
<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>
<property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop0:8099</value>
</property>
</configuration>

  5. 创建文件夹

    我们在配置文件中配置了一些文件夹路径，现在我们来创建他们，在/usr/hadoop/目录下使用hadoop用户操作，建立tmp、hdfs/name、hdfs/data目录，执行如下命令 ：

    mkdir /usr/hadoop
mkdir /usr/hadoop/tmp
mkdir /usr/hadoop/hdfs
mkdir /usr/hadoop/hdfs/data
mkdir /usr/hadoop/hdfs/name

  6. 将Hadoop添加到环境变量中

    vim /etc/profile

    在文件末尾插入如下代码：
    在这里插入图片描述
    最后使修改生效：

    source /etc/profile

  7. 验证
    格式化HDFS文件
    使用如下命令:

    hadoop namenode -format

    出现如下界面表示成功
    在这里插入图片描述
    启动Hadoop

    输入:

    start-dfs.sh

    在这里插入图片描述
    表示没有成功,因为root用户现在还不能启动hadoop,需要设置一下:
    在/hadoop3.3/sbin路径下：

    cd /app/hadoop3.3/sbin

    将start-dfs.sh，stop-dfs.sh两个文件顶部添加以下参数

    #!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

    还有，start-yarn.sh，stop-yarn.sh顶部也需添加以下代码：

    #!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

    再次启动start-dfs.sh，最后输入命令jps验证,出现如下界面代表启动成功：
    在这里插入图片描述
    在你虚拟机的图形化界面中打开火狐浏览器输入：http://localhost:9870/ 或者在windows机器上输入http://虚拟机ip地址:9870/ 也可以访问 hadoop的管理页面
    在这里插入图片描述

四、HDFS系统初体验

使用Hadoop的HDFS系统来上传文件

  1. 创建文件夹
    和Linux中一样创建文件夹的主要命令是mkdir，只不过在前面要加上hadoop fs
    在这里插入图片描述
    也可以在浏览器中查看到
    在这里插入图片描述

  2. 上传文件至hdfs
    (1) 创建文件,并添加数据
    在这里插入图片描述
    (2)将文件上传至HDFS
    使用put命令即可将指定文件上传至HDFS的指定文件夹中，在本文中就是将hello.txt上传至HDFS的/test文件夹。
    在这里插入图片描述
    (3)查看文件
    在这里插入图片描述
    在浏览器中显示:
    在这里插入图片描述

五、实验小结

在Hadoop启动时，datanode结点没有启动，因为多次格式化namenode导致，在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。解决方式是把/usr/hadoop/hdfs/name/current/VERSION文件中的clusterID的值复制到/usr/hadoop/hdfs/data/current/VERSION文件中的clusterID中，将其原来的clusterID注释掉,然后保存之后重新启动即可出现datanode。

Lilianac
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop集群环境配置及安装配置（详细过程包含安装包）_hadoop安装与配置(1)
2401_84181501的博客
05-06 823
网络配置完成后，ping一下www.baidu.com，如果结果为如下结果，则表示网络配置成功。
实验一 Hadoop安装与配置
weixin_44722764的博客
05-21 5258
Hadoop安装与配置 一、实验目的：Hadoop安装与配置 二、实验的步骤与方法 1、下载安装VMware 2、安装CentOs系统 ①、双击打开VMware，建立新的虚拟机 ②、选择典型按安装步骤一步步进行 ③、设置自己的虚拟机名称，选择安装位置 ④、设备选择“新CD/DVD”，连接选择使用ISO映像文件，点击浏览找到自己的ISO映像文件 ⑤、开启此虚拟机 3、安装CRT，并建立连接 4、...
[实验]Hadoop集群安装与配置
m0_57883712的博客
04-29 807
8、SSH免密登录测试，在hadoop01节点中使用命令 ssh hadoop02，在hadoop02节点中使用命令 ssh hadoop03，在hadoop03节点中使用命令 ssh hadoop01，或直接在hadoop01节点中使用，效果如下。4、和JDK一样，我们安装完成后都需要配置环境变量，使用命令vi /etc/profile进入到该文件后，依旧在最后一行进行配置，参数如下（以下两行参数一定要把地址写对，如果你的地址是自己修改的，需要把第一行中的地址写为你修改的地址）修改完成后保存退出。
Hadoop安装与配置，大数据实验报告英汉对照版
qq_64455589的博客
01-06 1023
本实验的主要目的是通过在Docker容器中部署Hadoop集群来验证Hadoop对HDFS(分布式文件系统)和MapReduce的支持。通过这个实验，我们的目的是深入了解Hadoop的配置、启动和验证过程，以及Hadoop集群在分布式环境下的工作方式。
hadoop安装实验总结Linux,Hadoop安装总结
weixin_39548740的博客
05-16 1971
安装JDK1、下载jdk1.6及以上版本，在/usr下安装chmod u+x jdk-6u26-linux-i586.bin./ jdk-6u26-linux-i586.bin2、配置环境变量vi /etc/profile找到如下代码：for i in /etc/profile.d/*.sh ;doif [ -r "$i" ]; then. $ifidone在之后加入：#javaconfigJAV...
hadoop安装配置实验报告
热门推荐
weixin_44312173的博客
05-20 1万+
Hadoop三种模式安装配置实验报告 2.1. Hadoop分布式文件系统（HDFS） Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合...
实验五 云计算环境Hadoop安装与配置
VictorFuture的博客
05-11 1769
实验五 云计算环境Hadoop安装与配置 实验目的 在虚拟机Ubuntu上安装Hadoop单机模式； 实验环境 虚拟机：VMware 或者virtualbox 踩坑： 1、VMware安装后，文件或文本从本地到虚拟机系统的拖拽或复制粘贴会出现失效，此时注意安装VMware tool，链接https://blog.csdn.net/dcrmg/article/details/74090307，可解决窗口和粘贴复制问题 2、virtualbox可通过共享文件夹挂载设置，解决文件拖拽，粘...
实验一-Hadoop的安装与使用
weixin_51942429的博客
11-07 2888
大数据技术原理与应用-实验一-Hadoop的安装与使用，其中包括一些Hadoop集群安装时遇到的问题及解决方法。
Hadoop安装实验报告
m0_59092234的博客
04-03 4048
一、实验目的 实现Hadoop的安装与配置 二、实验原理 在SecureCRT里面完成JDK+Hadoop安装配置、单机模式配置 四、实验步骤 1.VMWare 12安装激活 2.CentOS7安装 3.SecureCRT安装 4.SecureCRT新建Session修改外观 5.Hadoop三种模式安装配置 1.关闭防火墙 firewall-cmd --state 显示防火墙状态running/not running systemctl stop firewalld 临时关闭防火墙，每次开机重新开启防火墙
hadoop详细安装及配置
m0_67402236的博客
08-16 6608
七、修改D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置，找到set JAVA_HOME=%JAVA_HOME%替换为set JAVA_HOME="D:Program Files"Javajdk1.8.0_25。四个hadoop路径/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml。六、hadoop配置。...
大数据实验报告，Hadoop安装与配置，Docker
12-31
通过这个实验，参与者不仅可以掌握Hadoop在Docker环境中的安装和配置技巧，还能理解分布式计算的基本原理，以及如何利用Docker简化集群的管理和维护。这对于理解大数据处理和分析的底层机制至关重要，也是进一步学习...
实验一 hadoop 安装配置.docx
07-04
【Hadoop的下载与安装】 从官方网站或镜像站点下载Hadoop的tarball文件，例如Hadoop 2.6.0。解压缩文件，并配置环境变量，如在`hadoop-env.sh`文件中设置JAVA_HOME。此外，还需要根据实际环境调整其他配置文件，如...
实验2 Hadoop安装与配置 (2).pdf
07-04
一、实验名称：Hadoop 安装与配置 二、实验日期：2014 年月日 三、实验目的：安装和配置 Hadoop 环境，以便深入了解大数据处理技术。 四、实验用的仪器和材料： 安装环境：硬件环境：内存 DDR3 4G 及以上的 x86 ...
使用hadoop实现WordCount实验报告.docx
06-10
本实验旨在理解Hadoop分布式计算的基本原理，并熟悉Hadoop集群的搭建与管理。 ### 一、实验内容 **WordCount应用** 是Hadoop平台上的一个基础示例，它统计输入文件中的每个单词出现的次数。例如，输入文件包含...
实验1-安装Hadoop1
08-08
**实验1-安装Hadoop1**\n\n在IT领域，大数据处理是一个不可或缺的部分，而Hadoop作为开源的大数据处理框架，是实现这一目标的重要工具。本实验将引导你完成在CentOS 6操作系统上安装Hadoop的过程，涵盖单机模式、伪...
Hadoop NameNode 进入 Safe Mode 的问题分析与解决方案
最新发布
marsjin的专栏
07-25 753
通过以上步骤，您可以有效地解决 Hadoop NameNode 进入 Safe Mode 的问题，确保集群能够正常运行。如果问题仍然存在，建议进一步检查集群的整体健康状况，并寻求专业人员的帮助。希望本文能够帮助您快速解决问题，让您的大数据处理任务顺利进行！
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1035
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
WPF前端：一个简单的数值设置样式卡片，支持MVVM绑定
XX_YYDS的博客
07-24 506
WPF前端：数值设置卡片样式，支持MVVM绑定
hadoop安装与配置实验
10-07
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和分析。要安装和配置Hadoop，可以按照以下步骤进行操作： 1. 首先，确保你的系统满足Hadoop的要求，包括Java环境和SSH服务的安装和配置。 2. 下载Hadoop的压缩包，并解压到指定的目录中。 3. 配置Hadoop的环境变量，包括JAVA_HOME和HADOOP_HOME。 4. 配置Hadoop的核心文件，包括hadoop-env.sh、core-site.xml、hdfs-site.xml和mapred-site.xml。 5. 配置Hadoop的分布式文件系统（HDFS），包括创建数据目录、配置NameNode和DataNode，以及设置副本数等参数。 6. 配置Hadoop的资源管理器（YARN），包括配置ResourceManager和NodeManager。 7. 启动Hadoop集群，执行start-dfs.sh和start-yarn.sh命令。 8. 验证Hadoop集群的运行状态，可以通过Web界面或命令行工具查看集群的运行情况。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Lilianac

你的鼓励是我的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值