华为云hadoop伪分布式安装学习笔记（一）

已于 2024-04-15 20:00:04 修改
阅读量966 收藏 9
点赞数 2
分类专栏： 大数据学习笔记 文章标签： hadoop java eclipse
于 2021-09-28 00:15:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csh1807266489/article/details/120519718
版权

请添加图片描述

  • 💌 所属专栏：【大数据学习笔记（华为云）】

  • 😀 作  者：我是夜阑的狗🐶

  • 🚀 个人简介：一个正在努力学技术的码仔，专注基础和实战分享 ，欢迎咨询！

  • 💖 欢迎大家：这里是CSDN，我总结知识的地方，喜欢的话请三连，有问题请私信 😘 😘 😘

您的点赞、关注、收藏、评论，是对我最大的激励和支持！！！🤩 🤩 🤩

请添加图片描述

文章目录

前言

  大家好，又见面了，我是夜阑的狗，本文是专栏【大数据学习笔记（华为云）】专栏的第1篇文章，主要讲解是华为云hadoop伪分布式的安装。
  专栏地址：【大数据学习笔记（华为云）】， 此专栏是我是夜阑的狗对华为云hadoop的使用，希望能够加深自己的印象，以及帮助到其他的小伙伴😉😉。
  如果文章有什么需要改进的地方还请大佬不吝赐教👏👏。

1. 购买云ECS主机

  这里购买华为云ECS主机: 华为云购买链接.
在这里插入图片描述

2. 开发环境

  • step1 创建hadoop用户

  购买好华为云服务器之后，这里用putty对云服务器进行连接

在这里插入图片描述

  创建用户：

sudo useradd -m hadoop -s /bin/bash

在这里插入图片描述

  设置密码，可简单设置为 hadoop，按提示输入两次密码：

sudo passwd hadoop

在这里插入图片描述

  hadoop 用户增加管理员权限，方便部署：

sudo adduser hadoop sudo

在这里插入图片描述

  用hadoop用户登录

su - hadoop                          #切换当前用户为用户hadoop

在这里插入图片描述

  • step2 更新apt

  由于Ubuntu的一些特性，需要随时更新一下apt，不然有时候软件安装不了

sudo apt-get update

在这里插入图片描述

  • step3 安装最新版本的Java

  更新软件列表

sudo apt-get update

  安装 openjdk-8-jdk

sudo apt-get install openjdk-8-jdk

在这里插入图片描述

  查看Java版本，如下：

java -version

在这里插入图片描述

  安装好 OpenJDK 后，需要找到相应的安装路径

update-alternatives --config java

在这里插入图片描述

  我们输出的路径为

/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java

  其中，绝对路径为

/usr/lib/jvm/java-8-openjdk-amd64

  接着配置 JAVA_HOME 环境变量，为方便，我们在 ~/.bashrc 中进行设置

  sudo vi /etc/profile 在文件最前面添加如下单独一行（注意 = 号前后不能有空格），将“JDK安装路径”改为绝对路径，并保存：

在这里插入图片描述

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

  让该环境变量生效

source /etc/profile

在这里插入图片描述

  设置好后我们来检验一下是否设置正确：

echo $JAVA_HOME     # 检验变量值
java -version
$JAVA_HOME/bin/java -version  # 与直接执行 java -version 一样

在这里插入图片描述

  • step4 配置SSH无密码登陆节点

  现在检查您是否可以在没有密码的情况下通过 ssh 连接到本地主机：

  $ ssh localhost

  如果没有密码就无法 ssh 到 localhost，请执行以下命令：

  $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 
  $ chmod 0600 ~/.ssh/authorized_keys

3. 安装Hadoop

  • step1 下载

 wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0-aarch64.tar.gz

在这里插入图片描述

  • step2 解压

sudo tar -zxvf hadoop-3.3.0-aarch64.tar.gz -C /usr/local/
cd /usr/local
sudo mv  hadoop-3.3.0    hadoop #重命名为hadoop
sudo chown -R hadoop ./hadoop                        #修改文件权限

在这里插入图片描述
在这里插入图片描述

  • step3 配置Hadoop环境

  给hadoop配置环境变量，将下面代码添加到.bashrc文件:

在这里插入图片描述

export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

  同样，执行source ~/.bashrc使设置生效，并查看hadoop是否安装成功

source ~/.bashrc

在这里插入图片描述

4. Hadoop集群

  • step1 $JAVA_HOME配置

hadoop-env.sh和yarn-env.sh两个文件

  • step2 core-site.xml配置

etc/hadoop/core-site.xml:
在这里插入图片描述

<configuration>
	<property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>
</configuration>

在这里插入图片描述

  • step3 hdfs-site.xml配置

  etc/hadoop/hdfs-site.xml：

在这里插入图片描述

  注意：这里xxx可以填写localhost

<configuration>
	<property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>xxx:9001</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>

</configuration>

在这里插入图片描述

  • step4 mapred-site.xml配置

  etc/hadoop/mapred-site.xml：

在这里插入图片描述
  注意：这里xxx可以填写localhost

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>xxx:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>xxx:19888</value>
        </property>
</configuration>

在这里插入图片描述

  • step5 yarn-site.xml配置

  etc/hadoop/yarn-site.xml：

在这里插入图片描述

  注意：这里xxx可以填写localhost

<configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>xxx:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>xxx:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>xxx:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>xxx:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>xxx:8088</value>
        </property>
</configuration>

在这里插入图片描述

  • step6 启动结点

start-all.sh

  浏览Web界面 - http://localhost:9870/
遇到问题：结点挂载上去了，但是web页面访问不了。
解决方法：本人使用的华为云，需要在华为云控制台修改一下安全组，把hadoop要用TCP协议的端口添加进去，这里我把全部端口进行设置开放。

在这里插入图片描述
访问结果：
在这里插入图片描述

  • step7 结束结点

sbin/stop-all.sh

5.总结

  感谢观看，如果有帮助到你，请给文章点个赞和收藏，让更多的人看到。🌹 🌹 🌹

  也欢迎你，关注我。👍 👍 👍

  原创不易，还希望各位大佬支持一下，你们的点赞、收藏和留言对我真的很重要！！！💕 💕 💕 最后，本文仍有许多不足之处，欢迎各位认真读完文章的小伙伴们随时私信交流、批评指正！下期再见。🎉

更多专栏订阅:



订阅更多，你们将会看到更多的优质内容！！

我是夜阑的狗
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
阿里云上搭建hadoop分布式平台
11-20
hadoop；hive；json数据分析；网页日志处理；阿里云上搭建hadoop分布式平台
阿里云Hadoop在云上的最佳实践
03-18
阿里云Hadoop在云上的最佳实践，阿里云上云必看。阿里云Hadoop在云上的最佳实践
华为云hadoop伪分布式安装
weixin_44366822的博客
10-22 407
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
hadoop学习笔记
最新发布
皮鞭蘸碘伏边抽边消毒
05-28 869
Hadoop 是一个开源的分布式存储和计算框架，旨在处理大规模数据集并提供高可靠性、高性能的数据处理能力。它主要包括以下几个核心组件：Hadoop 分布式文件系统（HDFS）：HDFS 是 Hadoop 的分布式文件存储系统，用于存储大规模数据，并通过数据的副本和自动故障恢复机制来提供高可靠性和容错性。
华为Hadoop FusionInsight+SUSE安装教程
数据源的港湾
01-13 4720
本篇博客通过详细步骤描述如何在SUSE Linux系统上搭建华为Hadoop FusionInsight集群，如有描述有误，请指正。 关于版本 FusionInsight版本：FusionInsight_HD_V100R002C60U10_SLES SUSE版本：SUSE 11 SP4 以下是具体安装步骤， 一、 准备3台虚拟机集群（SUSE 11 SP4操作系统） 二、 修改主机
CentOS7云服务器搭建伪分布式hadoop-3.0.3
Eleina的博客
08-25 504
云服务器搭建hadoop伪分布集群
云服务器上搭建hadoop伪分布式环境
weixin_30590285的博客
03-30 249
1. 软硬件环境 CentOS 7.2 64 位 OpenJDK- 1.8 Hadoop- 2.7 2. 安装SSH客户端 安装SSH 安装SSH： 安装完成后，可以使用下面命令进行测试： 输入 root 账户的密码，如果可以正常登录，则说明SSH安装没有问题。 3.安装java环境 ...
ECS服务器搭建hadoop伪分布式
CBeann的博客
01-18 1904
前提准备 1）阿里云ECS服务器Centos7.5 2）Xshell或者其他和Linux交互的软件（本文用的Bitvise SSH软件） 我用的是Bitvise SSH Bitvise SSH下载 Bitvise SSH使用 里面有讲SSH软件怎么用 3）最好会vim操作（不会也没问题） 不会的用软件把需要修改的文件下载下到本地修改完毕后在上传回去覆盖原来的文件 4）hadoo...
hadoop伪分布式安装.pdf
10-22
hadoop伪分布式安装！
Hadoop伪分布式安装及配置参考步骤.docx
04-22
Hadoop伪分布式安装及配置参考步骤 Hadoop是一种分布式系统基础架构，由Apache基金会开发，能够对大量数据进行分布式处理和存储。用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop具有高可靠...
Hadoop技术-Hadoop伪分布式安装.pptx
11-02
Hadoop技术是当前大数据处理和存储领域中最流行的技术之一，Hadoop伪分布式安装是Hadoop技术中的一个重要组件。本文将详细介绍Hadoop伪分布式安装的步骤和配置过程。 一、Hadoop伪分布式运行模式 Hadoop伪分布式...
Hadoop伪分布式安装
02-02
【Hadoop伪分布式安装详解】 Hadoop，由Apache基金会开发，是一种分布式系统基础设施，旨在处理和存储大量数据。它的核心设计包含两个主要组件：HDFS（Hadoop Distributed File System）和MapReduce。HDFS提供了...
hadoop伪分布式搭建.docx
03-23
大数据hadoop平台伪分布式搭建详细步骤，基于ubtuntu系统，供初学者学习使用。... 大数据hadoop平台伪分布式搭建详细步骤，基于ubtuntu系统，供初学者学习使用。...
云服务器（阿里云，百度云，华为云，腾讯云）搭建Hadoop（Nameode，SecondaryNamenode，datanode）
bay233的博客
12-30 1778
写这篇文章是为了记录我自己在云平台上学习安装的过程，希望能为其他的同学提供一点帮助： 服务器类型 这里我使用的服务器有： node1 阿里云（学生机）Ubuntu （NameNode） node2 百度云（学生机）CentOs （SecondaryNamenode，datanode） node3 华为云（学生机）CentOs （datanode） node4 腾讯云（学生机）CentOs...
如何使用云容器搭建基于CentOS7的Hadoop2.x伪分布式环境（CSDN开发者云平台使用初体验）
Maynor的博客
06-12 1483
前不久CSDN联合国内顶级云厂商，共同为开发者提供稳定便宜的云服务，送了学长两张优惠券，一张云容器，一张云主机。恰好最近在学习某硅谷的SeaTunnel课程需要用到主机做实验，使用本地的还需要，有诸多不便，于是想试试服务。.........
膜拜，华为内部都在强推的783页大数据处理系统：Hadoop源代码pdf
the shy
11-24 1402
都说程序员工资高、待遇好， 2022 金九银十到了，你的小目标是 30K、40K，还是 16薪的 20K？作为一名 Java 开发工程师，当能力可以满足公司业务需求时，拿到超预期的 Offer 并不算难。然而，提升 Java 核心能力最快、最有效，短期内升职加薪的方法，到底是什么？首先，你需要跳出日常工作，接触更有深度、更前沿的顶级项目。一个简单的逻辑：大厂之所以能够给到高于行业水准的薪资，正是因为即使是普通开发人员，也要应对很多复杂的场景。
膜拜！华为内部都在强推的783页大数据处理系统：Hadoop源代码pdf
m0_63437643的博客
03-22 102
本书所关注的是,在通常运行于计算机集群的 Hadoop系统上,作业是怎样提交的。你将看到,在一个计算机集群上构筑一个大数据处理系统,哪些成分是必不可少的,哪些方面又是可以改进的,它与操作系统的关系怎样,而作为大规模计算机集群的“操作系统”又可以和应该是什么样的。数据块在HDFS文件系统中的存储是“狡兔三窟”的,一个数据块要分别存储在若干不同的DataNode.上,但是系统并不要求App把--个数据块分别发送给几个DataNode,而只需发送给其中的一个,后面就是DataNode之间的事了。
云上是时候丢掉Hadoop混合部署概念了
a52654的博客
07-03 626
阅读全文请点击Hadoop体系里面，有个非常让其拥趸津津乐道的概念，混合部署。其基本含义就是将多个应用和组件部署在一个集群，共享一套资源，以获取资源的高效利用。物理机环境没有弹性的能力，这个混合部署概念弥补了部分弹性的需求。先来看下产生的历史，Hadoop 1.0时代只有MapReduce/hdfs/zookeeper三大件，1.0时代只有MapReduce一种服务，没有共享的必要。Hadoop ...
Hadoop 伪分布式安装
04-30
伪分布式安装是在单个节点上模拟分布式环境的一种方式，可以用于学习和测试目的。下面是Hadoop伪分布式安装的步骤： 1. 安装Java Development Kit（JDK）：Hadoop是用Java编写的，所以首先需要安装JDK。你可以从...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

我是夜阑的狗

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值