麒麟操作系统-03-Hadoop3.5.5安装与部署

本文详细介绍了在麒麟操作系统上安装和部署Hadoop3.3.5的过程,包括选择版本、下载安装包、配置环境变量、修改配置文件如core-site.xml和yarn-site.xml,以及启动和检查Hadoop服务的步骤。此外,还提到了一些注意事项,如内存需求、主机名解析和防火墙设置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

麒麟操作系统-03-Hadoop安装与部署

准备工作

首先准备三台服务器node1,node2,node3。

虚拟机也可以,但是要确保运行内存是够用的,建议主节点node1给4G,其他最少2G。在能给的基础上越多越好。注意修改ip们可以参照我的另一篇博文:http://t.csdn.cn/6ohFp

因为没人安装hadoop,就只安装个hadoop,肯定是要使用其他大数据组件的。

1、版本选择

本次hadoop的版本选择3.3.5,稳定版,官方建议2.x和3.x都升级到此版本。

下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/

清华源下载的快,点进去选择 hadoop-3.3.5.tar.gz 下载,674M的,不要选择错了。

2、配置host、ssh、防火墙。

这些属于前置工作,参照上一篇文章:http://t.csdn.cn/jCylQ

3、 解压:

注意:

为了方便管理,我的环境中,所有安装包上传到/opt/software/下;

全部解压到/opt/server/下;一些配置的日志信息之类的存在/opt/data/下。

所以:在/opt目录下,新建software和server和data三个文件夹,用于存储我们自己的数据和安装包。

并且,在/opt/server/下的所有安装目录都统一按照name-version来命名,方便记录包和版本。

#解压hadoop安装包到server目录下。
tar -zxvf hadoop-3.3.5.tar.gz -C /opt/server
4、修改环境变量

修改/etc/profile的环境变量

vim /etc/profile
#shift + ↓ 翻页到最后,按字母o,可以快速换行并进入编辑模式
export HADOOP_HOME=/opt/server/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
#shift + zz 保存并退出,或者按键盘左上角esc,再输入 :wq 保存并退出
#重新加载环境变量,使其生效。
source /etc/profile
5、配置文件(重点)

进入hadoop的配置文件所在的目录

cd /opt/server/hadoop-3.5.5/etc/hadoop

这个目录下全是配置文件

  1. hadoop-env.sh中添加JAVA_HOME,记住填写你自己实际的。

    export JAVA_HOME=/usr/lib/jvm/java
    
  2. core-site.xml

    <configuration>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/data/hadoop-3.3.5</value>
        </property>
    
        <property>
            <name>fs.default.name</name>
            <value>hdfs://node1:8020</value>
        
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

m是只奶牛猫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值