华为云hadoop伪分布式安装学习笔记（一）

已于 2024-04-15 20:00:04 修改
阅读量1k 收藏 10
点赞数 2
分类专栏： 大数据学习笔记 文章标签： hadoop java eclipse
于 2021-09-28 00:15:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csh1807266489/article/details/120519718
版权
本文详细介绍了如何在华为云ECS主机上进行Hadoop的伪分布式安装，包括创建hadoop用户、配置开发环境、安装Java、配置SSH无密码登录、下载与安装Hadoop、配置Hadoop相关XML文件以及启动和停止Hadoop集群的步骤。通过这个教程，读者可以学习到在云端搭建Hadoop环境的基本操作。
摘要由CSDN通过智能技术生成

请添加图片描述

  • 💌 所属专栏：【大数据学习笔记（华为云）】

  • 😀 作  者：我是夜阑的狗🐶

  • 🚀 个人简介：一个正在努力学技术的码仔，专注基础和实战分享 ，欢迎咨询！

  • 💖 欢迎大家：这里是CSDN，我总结知识的地方，喜欢的话请三连，有问题请私信 😘 😘 😘

您的点赞、关注、收藏、评论，是对我最大的激励和支持！！！🤩 🤩 🤩

请添加图片描述

文章目录

前言

  大家好，又见面了，我是夜阑的狗，本文是专栏【大数据学习笔记（华为云）】专栏的第1篇文章，主要讲解是华为云hadoop伪分布式的安装。
  专栏地址：【大数据学习笔记（华为云）】， 此专栏是我是夜阑的狗对华为云hadoop的使用，希望能够加深自己的印象，以及帮助到其他的小伙伴😉😉。
  如果文章有什么需要改进的地方还请大佬不吝赐教👏👏。

1. 购买云ECS主机

  这里购买华为云ECS主机: 华为云购买链接.
在这里插入图片描述

2. 开发环境

  • step1 创建hadoop用户

  购买好华为云服务器之后，这里用putty对云服务器进行连接

在这里插入图片描述

  创建用户：

sudo useradd -m hadoop -s /bin/bash

在这里插入图片描述

  设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

在这里插入图片描述

  hadoop 用户增加管理员权限，方便部署：

sudo adduser hadoop sudo

在这里插入图片描述

  用hadoop用户登录

su - hadoop                          #切换当前用户为用户hadoop

在这里插入图片描述

  • step2 更新apt

  由于Ubuntu的一些特性，需要随时更新一下apt，不然有时候软件安装不了

sudo apt-get update

在这里插入图片描述

  • step3 安装最新版本的Java

  更新软件列表

sudo apt-get update

  安装 openjdk-8-jdk

sudo apt-get install openjdk-8-jdk

在这里插入图片描述

  查看Java版本，如下：

java -version

在这里插入图片描述

  安装好 OpenJDK 后，需要找到相应的安装路径

update-alternatives --config java

在这里插入图片描述

  我们输出的路径为

/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java

  其中，绝对路径为

/usr/lib/jvm/java-8-openjdk-amd64

  接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

  sudo vi /etc/profile 在文件最前面添加如下单独一行（注意 = 号前后不能有空格），将“JDK安装路径”改为绝对路径，并保存：

在这里插入图片描述

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

  让该环境变量生效

source /etc/profile

在这里插入图片描述

  设置好后我们来检验一下是否设置正确：

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

在这里插入图片描述

  • step4 配置SSH无密码登陆节点

  现在检查您是否可以在没有密码的情况下通过 ssh 连接到本地主机：

  $ ssh localhost

  如果没有密码就无法 ssh 到 localhost，请执行以下命令：

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
  $ chmod 0600 ~/.ssh/authorized_keys

3. 安装Hadoop

  • step1 下载

 wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz

在这里插入图片描述

  • step2 解压

sudo tar -zxvf hadoop-3.3.0-aarch64.tar.gz -C /usr/local/
cd /usr/local
sudo mv  hadoop-3.3.0    hadoop #重命名为hadoop
sudo chown -R hadoop ./hadoop                        #修改文件权限

在这里插入图片描述
在这里插入图片描述

  • step3 配置Hadoop环境

  给hadoop配置环境变量，将下面代码添加到.bashrc文件:

在这里插入图片描述

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

  同样，执行source ~/.bashrc使设置生效，并查看hadoop是否安装成功

source ~/.bashrc

在这里插入图片描述

4. Hadoop集群

  • step1 $JAVA_HOME配置

hadoop-env.sh和yarn-env.sh两个文件

  • step2 core-site.xml配置

etc/hadoop/core-site.xml:
在这里插入图片描述

<configuration>
	<property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

在这里插入图片描述

  • step3 hdfs-site.xml配置

  etc/hadoop/hdfs-site.xml：

在这里插入图片描述

  注意：这里xxx可以填写localhost

<configuration>
	<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>xxx:9001</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

</configuration>

在这里插入图片描述

  • step4 mapred-site.xml配置

  etc/hadoop/mapred-site.xml：

在这里插入图片描述
  注意：这里xxx可以填写localhost

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>xxx:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>xxx:19888</value>
        </property>
</configuration>

在这里插入图片描述

  • step5 yarn-site.xml配置

  etc/hadoop/yarn-site.xml：

在这里插入图片描述

  注意：这里xxx可以填写localhost

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>xxx:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>xxx:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>xxx:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>xxx:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>xxx:8088</value>
        </property>
</configuration>

在这里插入图片描述

  • step6 启动结点

start-all.sh

  浏览Web界面 - http://localhost:9870/
遇到问题：结点挂载上去了，但是web页面访问不了。
解决方法：本人使用的华为云，需要在华为云控制台修改一下安全组，把hadoop要用TCP协议的端口添加进去，这里我把全部端口进行设置开放。

在这里插入图片描述
访问结果：
在这里插入图片描述

  • step7 结束结点

sbin/stop-all.sh

5.总结

  感谢观看，如果有帮助到你，请给文章点个赞和收藏，让更多的人看到。🌹 🌹 🌹

  也欢迎你，关注我。👍 👍 👍

  原创不易，还希望各位大佬支持一下，你们的点赞、收藏和留言对我真的很重要！！！💕 💕 💕 最后，本文仍有许多不足之处，欢迎各位认真读完文章的小伙伴们随时私信交流、批评指正！下期再见。🎉

更多专栏订阅:



订阅更多，你们将会看到更多的优质内容！！

我是夜阑的狗
关注
专栏目录
二、云计算-私有云-国产-华为-FusionCloud+HCIE Cloud相关知识点+笔试题库
stqer的博客
08-02 3163
企业IT向云化和数据智能逐步演进FusionCloud功能架构FusionCloud系统架构ManageOne在FusionCloud私有云解决方案中承担CMP（Cloud Management Platforms）的职责，通过自研和集成的方式，为企业客户提供对企业私有云资源及企业租用的公有云资源统一管理的能力，包括租户自服务界面，云产品管理和产品目录，计量，计算、存储和网络资源自动化配置，云服务和云资源的运维监控等。ManageOne在FusionCloud的位置。....................
2024年大数据最全华为云云耀云服务器L实例评测｜在Docker环境下部署Hadoop(2)
最新发布
2401_84164576的博客
05-02 700
注意：确保在主机上禁用SELinux。
阿里云上搭建hadoop分布式平台
11-20
hadoop；hive；json数据分析；网页日志处理；阿里云上搭建hadoop分布式平台
华为云hadoop伪分布式安装
weixin_44366822的博客
10-22 415
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
hadoop3 伪分布式安装
qq_34304427的博客
09-08 845
我们在学习的过程中，很难有资源同时准备几台服务器来安装 hadoop，那样成本太高了，即使我们选择虚拟机安装 linux 服务器，宿主机也很难有那么大的内存供我们使用，但是 hadoop 是天然分布式的，为了方便我们学习，hadoop 支持了伪分布式的安装模式。如果是使用 vmware 虚拟机，IP 地址的详细配置请参考：https://www.cnblogs.com/lovling/p/7941201.html。yarn 界面：http://mitchell-101:8088/cluster。
Hadoop3.3伪分布式安装部署
Whisperya6的博客
02-07 1251
初始化之前，cd /opt/hadoop-3.3.2/sbin/，进入 sbin 目录，在 start-dfs.sh，stop-dfs.sh， start-yarn.sh，stop-yarn.sh 四个文件顶部添加参数，之后就可以使用 root 账号登陆 hdfs 和 yarn 了。#如果本机没有登录过其他机器时，本地是没有/root/.ssh 文件夹的，只需要：ssh master 登录一次，就会自动创建了。配置该文件，指定HDFS保存数据的副本数量，伪分布模式下只有一个节点，所以此处为：1。
Hadoop3 伪分布式安装
黄三清的博客
04-04 1297
Hadoop3伪分布式安装 准备工作： 4台节点服务器 1.1.1 JDK安装&配置好 参考JDK安装文章 1.1.2 4个节点服务器配置相互免密登录 参考配置免密登录文章 下载Hadoop 下载地址&百度云(密码：) 1. 解压 2. 修改配置文件 3. 启动Hadoop 4. 验证成功 5. 测试上传文件 ...
1.Hadoop的安装和使用（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
05-24 2530
此笔记为第一篇，学校开放华为云平台，帮助我们学习有关大数据方面相关知识的学习笔记，因为是云平台，是已经搭建好linux环境了，使用的是Ubantu。精心整理，自学笔记，如有什么问题，请耐心指正 Hadoop的安装和使用 学习Hadoop的安装和使用 1 安装Hadoop前的准备工作 介绍安装Hadoop之前的一些准备工作，包括创建hadoop用户、安装SSH和安装Java环境等。 先配置hosts，输入以下命令，将本机的hostname添加到hosts文件中： 拷贝代码echo "127.0.0.1 "$H
3.Spark的安装（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-10 399
Spark的安装 ① 在Linux系统中安装Spark； ② 运行Spark自带实例。 实验原理 -> Spark Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更
7.读写HBase数据（华为云学习笔记，Spark编程基础，大数据）
GCPOP的博客
06-13 784
读写HBase数据 ① 在hbase-shell中使用命令创建HBase数据库； ② 使用Spark读写HBase数据库中的数据。 实验原理 -> HBase HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。-> hbase-shell hbase-shell是一种HBase交互式操作环境，可以在其中输入命令，完成数据库创建和
阿里云Hadoop在云上的最佳实践
03-18
阿里云Hadoop在云上的最佳实践，阿里云上云必看。阿里云Hadoop在云上的最佳实践
hadoop云服务器环境搭建
05-08
hadoop云服务器环境搭建，自己写的文档，亲测可用，方便初学者搭建hadoop云服务环境
华为云平台全套搭建＋安装手册
05-10
华为云安装手册，包括软件安装手册和快速安装文档，非常详细的官方文档
HCIA-Big Data华为认证大数据工程师 课程笔记 + 课后习题
weixin_43211147的博客
04-07 4988
文章目录 一、大数据发展趋势与鲲鹏大数据 　　大数据时代的机遇与挑战　 　　华为鲲鹏解决方案 　　课后习题 一、大数据发展趋势与鲲鹏大数据 大数据时代的机遇与挑战 大数据的定义 在3V的基础上，业界对4V的定义加上了价值密度低（Value），而IBM对4V的定义加上了 真实准确（Veracity）。 目前对大数据尚未有一个公认的定义，不同的定义基本上是从特征出发，试图给出大数据 的定义 大数据处理与传统数据处理的差异 企业级大数据平台应用场景 • 社交网络和物联网技术拓展了数据采
华为Hadoop FusionInsight+SUSE安装教程
数据源的港湾
01-13 4787
本篇博客通过详细步骤描述如何在SUSE Linux系统上搭建华为Hadoop FusionInsight集群，如有描述有误，请指正。 关于版本 FusionInsight版本：FusionInsight_HD_V100R002C60U10_SLES SUSE版本：SUSE 11 SP4 以下是具体安装步骤， 一、 准备3台虚拟机集群（SUSE 11 SP4操作系统） 二、 修改主机
CentOS7云服务器搭建伪分布式hadoop-3.0.3
Eleina的博客
08-25 542
云服务器搭建hadoop伪分布集群
云服务器上搭建hadoop伪分布式环境
weixin_30590285的博客
03-30 256
1. 软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 2. 安装SSH客户端 安装SSH 安装SSH： 安装完成后，可以使用下面命令进行测试： 输入 root 账户的密码，如果可以正常登录，则说明SSH安装没有问题。 3.安装java环境 ...
大数据01-Hadoop3.3.1伪分布式安装
weixin_45735391的博客
02-14 1083
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System）和MapReduce。
云服务器（阿里云，百度云，华为云，腾讯云）搭建Hadoop（Nameode，SecondaryNamenode，datanode）
bay233的博客
12-30 1853
写这篇文章是为了记录我自己在云平台上学习安装的过程，希望能为其他的同学提供一点帮助： 服务器类型 这里我使用的服务器有： node1 阿里云（学生机）Ubuntu （NameNode） node2 百度云（学生机）CentOs （SecondaryNamenode，datanode） node3 华为云（学生机）CentOs （datanode） node4 腾讯云（学生机）CentOs...
华为云安装hadoop
07-16
### 回答1： 华为云安装Hadoop是一种将Hadoop分布式计算框架部署在华为云平台上的操作。Hadoop是一个用于存储和处理大数据的开源软件框架，它能够在集群中高效地处理大规模数据。以下是华为云安装Hadoop的步骤： 首先，登录华为云平台，并选择合适的服务器实例，确保服务器配置满足Hadoop的最低要求。这些要求可能包括CPU、内存、网络带宽等。 然后，在华为云平台上创建一个虚拟机实例，用于安装Hadoop。可以选择操作系统为Linux，如CentOS或Ubuntu。 接下来，为Hadoop配置必要的环境。可以使用命令行工具，例如SSH或PuTTY来连接到虚拟机实例。在虚拟机上安装Java开发工具包（JDK），并设置JAVA_HOME环境变量。 然后，下载Hadoop的二进制文件，并将其解压缩到虚拟机的适当位置。根据集群的规模和需求，可以选择单节点或多节点安装。单节点安装只需要在一台机器上运行Hadoop，而多节点安装涉及到将Hadoop分布式计算框架部署在多台机器上。 安装完成后，需要编辑Hadoop的配置文件，以便正确配置集群。这些配置文件包括core-site.xml、hdfs-site.xml和yarn-site.xml等。通过这些文件，可以指定Hadoop集群的名称、数据存储位置、节点角色以及其他参数。 最后，在虚拟机上启动Hadoop集群。可以使用Hadoop的启动脚本或命令，如start-dfs.sh和start-yarn.sh，来启动Hadoop的不同组件，如HDFS和YARN。 一旦Hadoop集群成功启动，就可以使用Hadoop的命令行工具或Web界面来管理和执行数据处理任务。华为云安装Hadoop可以为用户提供高性能、可扩展和可靠的大数据处理解决方案。同时，华为云的弹性资源分配和付费模式也为用户提供了灵活的计算和存储选择。 ### 回答2： 华为云安装Hadoop是一种将华为云与Hadoop框架相结合的操作。Hadoop是一个开源的分布式处理框架，可以对大规模数据进行存储和处理。在华为云安装Hadoop可以提供强大的数据处理和分析能力。 首先，在华为云上安装Hadoop需要创建一个虚拟机实例。虚拟机实例可以提供计算资源和存储空间来支持Hadoop的运行。可以选择适当的虚拟机实例类型和配置，以便满足所需的计算和存储需求。 接着，在虚拟机上安装操作系统和Java环境，它们是Hadoop运行的基本要求。可以选择适合的操作系统版本和Java发行版，并根据华为云的操作指南进行安装。 然后，下载Hadoop的二进制包，并解压到虚拟机的指定目录。配置Hadoop的环境变量，以便可以在任何目录下执行Hadoop命令。 接下来，通过修改Hadoop的配置文件来配置Hadoop集群。主要的配置文件包括core-site.xml、hdfs-site.xml和mapred-site.xml。配置文件可以设置Hadoop的工作模式、文件系统、存储路径等参数。可以根据具体需求进行配置调整。 最后，启动Hadoop集群。通过执行启动命令，可以启动Hadoop的各个组件，如HDFS（Hadoop分布式文件系统）和YARN（Hadoop资源管理器）。启动成功后，可以使用Hadoop提供的命令行工具或编程接口来执行数据处理和分析任务。 总体来说，华为云安装Hadoop需要进行虚拟机创建、操作系统安装、Java环境配置、Hadoop二进制包下载和解压、配置文件修改和集群启动等步骤。完成这些步骤后，就可以在华为云上运行Hadoop，实现大规模数据的存储和处理。 ### 回答3： 华为云是华为公司推出的云计算服务平台，提供了丰富的计算和存储资源，方便用户进行大数据处理和分析。安装Hadoop是在华为云上构建大数据处理平台的重要一步。 首先，我们需要进入华为云控制台，并登录自己的账号。然后，选择适合自己需求的虚拟机实例，比如选择一台具有足够计算资源和存储容量的实例。 在创建虚拟机实例后，我们需要在该实例上安装Hadoop。首先，通过SSH登录到虚拟机实例中，然后更新操作系统，安装Java环境和其他必要的依赖包。 接下来，我们需要下载Hadoop的安装包，并将其解压到指定目录。在解压完成后，需要进行一些配置，比如设置Hadoop的环境变量、配置Hadoop的核心文件和日志等。 在配置完成后，我们需要启动Hadoop服务，可以通过执行特定的命令或使用Hadoop的启动脚本来实现。一般来说，需要启动Hadoop的namenode、datanode、ResourceManager和NodeManager等服务组件。 安装完成后，可以通过Hadoop提供的web界面来监控和管理Hadoop集群，可以查看集群的状态、作业运行情况、存储资源使用情况等。 需要注意的是，Hadoop安装过程中可能会遇到一些问题和错误，需要仔细阅读错误信息并进行相应的排查和修复。 总之，在华为云上安装Hadoop需要一定的技术基础和操作经验，同时也需要注意安全性、性能优化等方面的考虑。希望以上内容能够帮助你在华为云上成功安装Hadoop。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是夜阑的狗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值