Linux(ubantu)下安装hadoop,安装过程超详细解析

一:下载hadoop

二:将hadoop压缩包从windows路径下转移到Linux下

三:配置hadoop的环境变量

        1:将Linux下的hadoop压缩包放在你想要放的目录下,然后进行解压

        2:安装java并配置java环境变量

        3:使用两种方式配置环境变量(将hadoop写入到环境变量PATH中;

                                                             将hadoop的软链接放入到PATH的路径下)

一:下载hadoop

我们知道Linux下安装软件,软件的包有两种:(源码包,二进制包)

        一种是使用软件的源文件(源码包)进行编译,然后安装它的安装步骤进行安装,编译就是将源文件编译为二进制码,使得机器能够识别,这样会特别浪费时间,但是源码包也有自己的优势,就是开源,你打开它,如果发现源码包哪里有bug,你可以自己修改,但是这一般都是业界大佬写的,不会出错,当然你在能看懂的情况下,也可以对软件内部的功能进行修改,卸载比较方便,直接删掉文件即可。

        另一种是二进制包,二进制包就是软件开发者已经将源码包编译好之后的二进制包,我们是看不见源码的,所谓的安装,就是把二进制包放在Linux某个目录下就可以了。安装简单。

        作为新手,我们使用二进制包比较方便,如果自己要编译源码包进行安装比较困难。

下载官网地址:Apache Hadoop

选择二进制包如下图:

 二:将hadoop压缩包从windows路径下转移到Linux下

        直接将下载的hadoop文件压缩包用鼠标拖到Linux某个目录下,我这里拖过去的目录是在个人账号的家目录下(/home/zsw

### 安装 Hadoop 的准备工作 在 Ubuntu 系统中安装 Hadoop 需要完成一系列配置和操作。以下是详细的说明: #### 1. 准备工作环境 为了确保系统的稳定性,建议先更新系统软件包列表并升级现有软件包: ```bash sudo apt-get update && sudo apt-get upgrade -y ``` 如果需要通过 FTP 传输 JDK 和 Hadoop 压缩包,则可以按照以下方法安装 `vsftpd` 并解决可能的错误情况[^4]: ```bash sudo apt-get install vsftpd ``` 如果遇到安装失败或 404 错误,可以通过修改 `/etc/apt/sources.list` 文件来解决问题。 --- #### 2. 下载并解压 Hadoop 软件包 假设已经下载Hadoop 的压缩包(如 `hadoop.master.tar.gz`),将其放置于用户的家目录下,并执行以下命令进行解压和权限设置[^3]: ```bash cd ~ sudo rm -r /usr/local/hadoop || true # 删除旧版 (如果存在) sudo tar -zxf hadoop.master.tar.gz -C /usr/local/ sudo chown -R $USER:$USER /usr/local/hadoop ``` 上述命令会将 Hadoop 解压至 `/usr/local/hadoop` 目录,并赋予当前用户对该路径的操作权限。 --- #### 3. 修改 Hadoop 配置文件 进入 Hadoop 的配置文件夹位置[^2]: ```bash cd /usr/local/hadoop/etc/hadoop/ ``` 编辑核心配置文件 `core-site.xml` 来指定 NameNode 地址以及默认存储路径: ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 对于高版本的 Hadoop(如 3.x 版本),Web UI 默认监听端口已更改为 9870[^5]。因此,在浏览器中访问 Web 接口时应使用该端口号。 接着,编辑 `hdfs-site.xml` 添加副本因子和其他参数: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 最后,根据需求调整其他配置项(如 MapReduce 或 YARN 参数)。 --- #### 4. 启动 HDFS 和测试服务 初始化 HDFS 文件系统: ```bash hdfs namenode -format ``` 启动 Hadoop 服务: ```bash start-dfs.sh jps ``` 运行最后一个命令验证各个守护进程是否正常启动(如 `NameNode`, `DataNode`)。如果没有问题,可以在浏览器中输入地址 `http://localhost:9870` 查看集群状态页面。 --- #### 5. 测试 Hadoop 功能 创建一个简单的文本文件作为数据源,并上传到 HDFS 中: ```bash echo "Test data for Hadoop." > test.txt hdfs dfs -mkdir /input hdfs dfs -put test.txt /input/test.txt ``` 运行 WordCount 示例程序检验功能是否正常: ```bash hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output hdfs dfs -cat /output/part-r-00000 ``` ---
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值