ARM Linux 安装Hadoop3.3.5（需要对应的arrch安装包，与x86不兼容）

于 2024-07-11 19:12:01 发布
阅读量304 收藏 8
点赞数 16
分类专栏： software 文章标签： arm开发 linux 运维 hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yuwen_810485419/article/details/140355525
版权

目录

一、准备环境

二、安装JDK8

三、关闭Centos7的防火墙

四、三台机器之间的免密登录

4.1修改三台机器的主机名

4.2三台机器设置主机名映射

4.3使用命令生成密钥

4.4使用命令复制SSH密钥到目标主机，开启无密码SSH登录

4.5验证

五、安装Hadoop

5.1 下载安装包（arrch）

5.2安装

一、准备环境

        准备三台机器，本次是安装在linux上，操作系统为centos7,系统架构为arm

二、安装JDK8

#进入JDK所在目录
cd /usr/local/soft/java

#root用户解压
tar zxvf jdk-8u361-linux-x64.tar.gz

#root配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/soft/java/jdk1.8.0_361
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#使环境变量生效
source /etc/profile

#验证环境变量是否生效验证
[root@master java]# java -version
java version "1.8.0_361"
Java(TM) SE Runtime Environment (build 1.8.0_361-b09)
Java HotSpot(TM) 64-Bit Server VM (build 25.361-b09, mixed mode)

三、关闭Centos7的防火墙

第二步关闭centos7的防火墙（3台机器都需要执行）

#首先检测防火墙的状态 请注意第四行 Active: active (running) since 表示防火墙开启
[root@master java]# systemctl status firewalld.service
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: active (running) since 四 2023-03-09 07:51:10 PST; 3s ago
     Docs: man:firewalld(1)
 Main PID: 20511 (firewalld)
    Tasks: 2
   CGroup: /system.slice/firewalld.service
           └─20511 /usr/bin/python2 -Es /usr/sbin/firewalld --nofork --nopid

3月 09 07:51:10 master systemd[1]: Starting firewalld - dynamic firewall daemon...
3月 09 07:51:10 master systemd[1]: Started firewalld - dynamic firewall daemon.
3月 09 07:51:11 master firewalld[20511]: WARNING: AllowZoneDrifting is enabled. This is considered an insecure configuration ...it now.
Hint: Some lines were ellipsized, use -l to show in full.

#关闭防火墙
[root@master java]# systemctl stop firewalld.service

#再次查看状态 此时已经显示成了Active: inactive (dead) 表示防火墙已经关闭
[root@master java]# systemctl status firewalld.service
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

3月 09 07:51:10 master systemd[1]: Starting firewalld - dynamic firewall daemon...
3月 09 07:51:10 master systemd[1]: Started firewalld - dynamic firewall daemon.
3月 09 07:51:11 master firewalld[20511]: WARNING: AllowZoneDrifting is enabled. This is considered an insecure configuration ...it now.
3月 09 07:52:43 master systemd[1]: Stopping firewalld - dynamic firewall daemon...
3月 09 07:52:44 master systemd[1]: Stopped firewalld - dynamic firewall daemon.
Hint: Some lines were ellipsized, use -l to show in full.

四、三台机器之间的免密登录

4.1修改三台机器的主机名

  • 查看当前主机名：输入hostnamectl命令来查看当前系统的主机名。
  • 修改主机名：使用hostnamectl set-hostname 新主机名命令来永久修改主机名。修改完成后，可以通过hostname命令来验证主机名是否已成功修改

4.2三台机器设置主机名映射

[root@master ~]# vi /etc/hosts

添加如下内容

10.0.0.10 master

10.0.0.11 node1

10.0.0.12 node2

 效果如下图所示:

4.3使用命令生成密钥

[root@master ~]# ssh-keygen

三台机器都需要进行此操作

4.4使用命令复制SSH密钥到目标主机，开启无密码SSH登录

[root@master ~]# ssh-copy-id node1

[root@master ~]# ssh-copy-id node2

此操作第一次会让你输入yes 这样master节点就可以免密登陆其他节点，同样在其他节点也需要进行以上操作

4.5验证

[root@master ~]# ssh node1

[root@master ~]# ssh node2

五、安装Hadoop

5.1 下载安装包（arrch）

Index of /dist/hadoop/common/hadoop-3.3.5

5.2安装

#进入hadoop包存放的目录
[root@master ~]# cd /soft

#解压到当前目录
[root@master soft]# tar -zxvf hadoop-3.3.5.tar.gz

#修改hadoop配置文件hadoop-env.sh
[root@master soft]# cd /soft/hadoop-3.3.5/etc/hadoop
[root@master hadoop]# vim hadoop-env.sh
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#这是JAVA的环境变量对应目录需要和上述java的对应
export JAVA_HOME=/usr/local/soft/java/jdk1.8.0_361

#设置HADOOP环境变量
[root@master hadoop]# vim /etc/profile
export HADOOP_HOME=/soft/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#环境变量生效
[root@master hadoop]#source /etc/profile

修改core-site.xml配置文件，此文件在/soft/hadoop-3.3.4/etc/hadoop下，初始状态如下：

<configuration>
</configuration>

加入如下内容

<configuration>
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.11:8020</value>
</property>
<property>
  <name>hadoop.http.filter.initializers</name>
  <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
<property>
  <name>hadoop.http.authentication.type</name>
  <value>simple</value>
</property>
<property>
  <name>hadoop.http.authentication.token.validity</name>
  <value>3600</value>
</property>
<property>
  <name>hadoop.http.authentication.signature.secret.file</name>
  <value>/root/hadoop-http-auth-signature-secret</value>
  <!-- 可动态配置，主从同样配置，并 生成hadoop-http-auth-signature-secret 文件，放到对应位置，内部为允许访问的用户，用user.name=“”访问 -->
</property>
<property>
    <name>hadoop.http.authentication.simple.anonymous.allowed</name>
    <value>false</value>
  </property>
<property>
  <name>hadoop.http.authentication.cookie.domain</name>
  <value></value>
</property>
<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/data/hadoop</value>
</property>

<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>

<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>

<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
<!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://192.168.1.11:8020</value>
</property>
<property>
  <name>hadoop.http.filter.initializers</name>
  <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
</property>
<property>
  <name>hadoop.http.authentication.type</name>
  <value>simple</value>
</property>
<property>
  <name>hadoop.http.authentication.token.validity</name>
  <value>3600</value>
</property>
<property>
  <name>hadoop.http.authentication.signature.secret.file</name>
  <value>/root/hadoop-http-auth-signature-secret</value>
  <!-- 可动态配置，主从同样配置，并生成hadoop-http-auth-signature-secret 文件，放到对应位置，内部为允许访问的用户，用user.name=“”访问 -->
</property>
<property>
    <name>hadoop.http.authentication.simple.anonymous.allowed</name>
    <value>false</value>
  </property>
<property>
  <name>hadoop.http.authentication.cookie.domain</name>
  <value></value>
</property>
<!-- 设置Hadoop本地保存数据路径 -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/root/data/hadoop</value>
</property>
<!-- 设置HDFS web UI用户身份 -->
<property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
</property>
<!-- 整合hive 用户代理设置 -->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>
</configuration>

在hadoop3中，需要加上hadoop.http.authentication.signature.secret.file此配置，不然安装会提示

org.apache.hadoop.security.authentication.server.AuthenticationFilter: Unable to initialize FileSignerSecretProvider, falling back to use random secrets. Reason: Could not read signature secret file: /root/hadoop/hadoop-http-auth-signature-secret

修改hdfs-site.xml配置文件（配置hdfs的web访问地址）：

<configuration>
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>192.168.1.12:9868</value>
</property>
</configuration>

修改mapred-site.xml文件（ip请根据自己的ip进行修改）：

<configuration>
<!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

<!-- MR程序历史服务地址 -->
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>192.168.1.11:10020</value>
</property>

<!-- MR程序历史服务器web端地址 -->
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>192.168.1.11:19888</value>
</property>

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
</configuration>

修改yarn-site.xml文件（请根据自己的ip进行修改）：

 <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>192.168.1.11</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<!-- 是否将对容器实施物理内存限制 -->
<property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 是否将对容器实施虚拟内存限制。 -->
<property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
</property>

<!-- 开启日志聚集 -->
<property>
  <name>yarn.log-aggregation-enable</name>
  <value>true</value>
</property>

<!-- 设置yarn历史服务器地址 -->
<property>
    <name>yarn.log.server.url</name>
    <value>http://192.168.1.11:19888/jobhistory/logs</value>
</property>

<!-- 历史日志保存的时间 7天 -->
<property>
  <name>yarn.log-aggregation.retain-seconds</name>
  <value>604800</value>
</property>

修改workers文件：

192.168.1.11
192.168.1.12
192.168.1.13

将修改好的hadoop文件夹拷贝到其余2个节点(三台机器之间需要实现ssh免密登录)

scp -r hadoop-3.3.4 root@node1:/soft
scp -r hadoop-3.3.4 root@node2:/soft

开始启动hadoop，在master上namenode的格式化

[root@master hadoop]# hdfs namenode -format
#出现如下信息就表示成
INFO common.Storage: Storage directory /root/data/hadoop/dfs/name has been successfully formatted

在master启动hdfs

[root@master hadoop]# start-dfs.sh
Starting namenodes on [master]
上一次登录：四 3月  9 08:17:03 PST 2023pts/0 上
Starting datanodes
上一次登录：四 3月  9 08:17:59 PST 2023pts/0 上
Starting secondary namenodes [node1]
上一次登录：四 3月  9 08:18:01 PST 2023pts/0 上
#检查是否正常启动
[root@master hadoop]# jps
57266 NameNode
57940 Jps
57503 DataNode

在node1、node2上进行检查看是否启动

[root@node1 ~]# jps
55539 DataNode
55703 SecondaryNameNode
56874 Jps
[root@node2 ~]# jps
55318 DataNode
56893 Jps

成功启动后，启动yarn集群(也是在master上执行)

[root@master hadoop]# start-yarn.sh
Starting resourcemanager
上一次登录：四 3月  9 08:18:04 PST 2023pts/0 上
Starting nodemanagers
上一次登录：四 3月  9 08:20:02 PST 2023pts/0 上
#验证是否成功
[root@master hadoop]# jps
57266 NameNode
61202 Jps
60500 ResourceManager
60711 NodeManager
57503 DataNode

#node1上验证下
[root@node1 ~]# jps
55539 DataNode
58419 NodeManager
59749 Jps
55703 SecondaryNameNode
#node2上验证下
[root@node2 ~]# jps
59216 Jps
58133 NodeManager
55318 DataNode

都成功启动了。

每次这样启动都比较费劲，可以采用如下命令一次性启动或者一次性关闭

#一次性全部启动
[root@master hadoop]# start-all.sh
#一次性全部关闭
[root@master hadoop]# stop-all.sh
余温.493
关注
  • 16
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Linux安装Hadoop（图文解说详细版）
编码人生
07-11 5256
0基础Linux安装hadoop
基于Linux环境下搭建Hadoop3.3.5伪分布式集群
weixin_65875490的博客
01-10 1721
1. 在master上，切换到目录/export/servers，把hadoop-3.3.5远程拷贝到hadoop02和hadoop03上。也可通过FinalShell或xftp拖动到目标目录（需提前切换到/export/software），速度是几十个MB/s.很快的。可通过rz上传到当前目录（需提前切换到/export/software），上传速度是几个MB/s。配置文件都在这个目录下：/export/servers/hadoop/etc/hadoop。# 在hadoop02上可看到如下进程。
Hadoop集群环境配置及安装配置（详细过程包含安装包）
2202_75347029的博客
07-07 3万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Linux安装 hadoop-3.3.1
qq_27130997的博客
07-02 4738
1 下载 wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz 2 解压 tar -zxvf hadoop-3.3.1.tar.gz 3 修改配置文件 3.1 修改 hadoop-env.sh配置文件 vi /hadoop-3.3.1/etc/hadoop/hadoop-env.sh 加入如下配置 export JAVA_HOME=/APP/jdk1.8.0_141 3.
VMware创建Linux虚拟机之（三）Hadoop安装与配置及搭建集群
热门推荐
好好读书
10-10 5万+
linux虚拟机配置hadoop环境变量，下载解压hadoop-3.3.4，使用三台虚拟机，搭建hadoop集群，免密互通
使用jdk17 搭建Hadoop3.3.5和Spark3.3.2 on Yarn集群模式
qq_37354060的博客
04-12 3438
把**.pub**文件打开，复制出里面的内容，把内容复制到一个临时的txt中，我复制到了windows桌面的一个文件里。现在，四台虚拟机已经都安装了Spark，并且环境变量已经配置成功，下面就是启动Spark了。至此，一台虚拟机的spark配置完毕，接下来配置其他虚拟器，过程与该虚拟机配置过程一致。这里我使用的是Centos8.5，虚拟机外存20G，内存4G，我安装的是带桌面版的。此时直接进来了，说明互信成功，接下来退出去，与其他虚拟机互信，自己与自己也互信一次。
linux查找hadoop安装路径,Linux安装hadoop
weixin_39610774的博客
05-03 7190
前提：下载hadoop2.8.5wget下载hadoop，或如果是虚拟机，也可以使用sftp从windows上传hadoop文件wget -P /home/cent/Downloads https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.8.5/hadoop-2.8.5.tar.gzsftp从windows上传had...
Linux系统安装Hadoop步骤详解
Xiayebuliang的博客
02-01 6658
进入目录：cd /etc/sysconfig/network-scripts/配置根据电脑内存自由处理，一般来说，虚拟机内存设为电脑内存一半。然后ping www.baidu.com。然后javac，出现下面图片。
从 Linux 安装到 Hadoop 环境搭建全过程
奇妙的代码
07-01 7355
从 Linux 的最小化安装到 Hadoop 环境的搭建，尽可能详尽介绍每个步骤。
linux安装Hadoop、hbase
qq_57810709的博客
10-17 4874
首先按打开终端窗口，输入如下命令创建新用户接着使用如下命令设置密码，可简单设置为hadoop可为hadoop。
大数据 hadoop-3.1.3 linux 安装包
06-25
在这个针对Linux系统的安装包中，我们将探讨Hadoop的基础知识、安装步骤以及在Linux环境下的配置和操作。 Hadoop由Apache软件基金会开发，它主要由两个核心组件构成：Hadoop Distributed File System (HDFS) 和 ...
适用于hadoop 3.3.5 3.3.6版本的winutils
10-08
winutils文件合集，Hadoop3.3.5以及3.3.6可用 winutils.exe是在windows系统上安装hadoop时所需要的winutils文件，内附多个版本，支持 hadoop-3.3.5 hadoop-3.3.6
Hadoop3.3.5+HBase1.4.5.rar+winutils.exe
04-29
将hadoop-3.3.5与hbase-1.4.5放到 Environment 目录 2.配置hadoop 2.1配置环境变量 HADOOP_HOME=D:\Environment\hadoop-3.3.5 添加到path %HADOOP_HOME%\bin 2.2 配置 winutils.exe 将winutils.exe移动到...
Linux运维入门Hadoop实验参照手册一（安装VMware与CentOS）
03-08
Linux运维入门Hadoop实验参照手册一（安装VMware与CentOS）
linux环境不使用hadoop安装单机版spark的方法
09-15
但要注意，单机模式并不支持分布式计算，如果你需要处理大规模数据或进行集群部署，你应该考虑在多节点环境中安装Spark并与Hadoop集成。 总结起来，Linux环境下不使用Hadoop安装单机版Spark，主要步骤包括：安装JDK...
ARM/Linux嵌入式面经（十一）：地平线嵌入式实习
最新发布
叫好与叫座虽然不是对立面，但想在同一个作品中达到双重效果很难。
07-07 127
等着，在给大哥们准备了。
Hi3861 OpenHarmony嵌入式应用入门--SNTP
andylauren的专栏
07-05 396
sntp（Simple Network Time Protocol）是一种网络时间协议，它是NTP（Network Time Protocol）的一个简化版本。本项目是从LwIP中抽取的SNTP代码；`Hi3861 SDK`中已经包含了一份预编译的lwip，但没有开启SNTP功能（静态库无法修改）；需要保证模块连接的热点能够访问网络的。
ARMxy微电网控制新星：赋能智能电网监控
weixin_49512855的博客
07-05 421
能源转型和智能电网建设高效、可靠的电力输配系统成为了行业关注的焦点。随着物联网、大数据、人工智能技术的融合应用，电网监控与变电站自动化系统亟需更为智能、灵活的解决方案来提升其性能与稳定性。正是在这样的背景下，ARM电力控制微电网主机BL340以其独特的技术优势和应用场景适应性，逐渐成为电力行业转型升级的关键推手。
【ARM Trace32(劳特巴赫) 使用介绍 1.2 -- Cortex-M7 Trace32 脚本配置】
CodingCos的博客
07-07 112
ARM Cortex-M7微控制器是高性能的32位微控制器，广泛应用于需要高计算性能、实时性能和高级数字信号处理的领域。使用TRACE32调试工具附加（attach）到Cortex-M7微控制器上，可以有效地进行程序的调试和性能分析。ARM Cortex-M7微处理器包含一个内部总线矩阵，该矩阵管理处理器和外部AHBD（高级微控制器总线架构-外设总线）内存访问，这些访问请求既可以针对外部内存系统，也可以针对内部的SCS（系统控制空间）和调试组件。
hadoop3.3.5
10-08
Hadoop 3.3.5是一个开源的分布式计算框架，用于处理大规模数据的存储和处理。它提供了可靠的、高效的和可扩展的分布式计算解决方案。 要安装Hadoop 3.3.5，您可以按照以下步骤进行操作： 1. 首先，从提供的引用中下载Hadoop 3.3.5的安装包。 2. 将下载的安装包解压缩，并将解压后的文件夹（hadoop-3.3.5）移动到指定的环境目录（如引用中的D:\Environment\目录）。 3. 配置Hadoop环境变量。打开系统环境变量设置，添加一个新的环境变量HADOOP_HOME，并将其设置为Hadoop安装文件夹的路径（例如D:\Environment\hadoop-3.3.5）。 4. 将%HADOOP_HOME%\bin添加到系统的PATH环境变量中，以便在任何目录下都能够直接运行Hadoop命令。 5. 配置winutils.exe。将winutils.exe文件移动到Hadoop安装文件夹的bin目录中，确保它与Hadoop的版本兼容。 完成上述步骤后，您就成功安装了Hadoop 3.3.5。您可以使用hadoop命令来执行各种分布式计算任务，如在引用中提到的执行wordcount程序。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值