CentOS 7.6 安装 Hadoop2.6.0

最新推荐文章于 2021-12-03 01:47:14 发布

渣渣的夏天

最新推荐文章于 2021-12-03 01:47:14 发布

阅读量2.3k

点赞数 3

本文链接：https://blog.csdn.net/qq_39564555/article/details/102890703

版权

本文介绍了在CentOS 7.6上安装Hadoop 2.6.0的详细过程，包括系统环境、下载Hadoop和JDK、配置系统路径、配置Hadoop各个文件、设置节点间免密连接以及启动Hadoop。文章还提到了虚拟机的IP获取方法和相关配置文件的编辑。

摘要由CSDN通过智能技术生成

一、Hadoop简介

Hadoop是一个开源框架，允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器，每个都提供本地计算和存储。

二、安装环境

系统：CentOS 7.6
JDK：1.7
Hadoop：2.6.0
两台虚拟机，一台作为 Namenode，另一台作为Datanode

Namenode 192.168.164.xx1
Datanode 192.168.164.xx2

注：虚拟机的 ip 可以通过命令 ifconfig 得知。

二、安装流程

1. 下载 Hadoop、jdk

Hadoop 各个版本下载网址：http://archive.apache.org/dist/hadoop/common/
本次实验测试为 Hadoop 2.6.0

mkdir /home/hadoop
cd /home/hadoop/
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar -zxvf hadoop-2.6.0.tar.gz

mkdir /home/jdk
cd /home/jdk/
# 如果下载不了，可以去官网下载再放到该目录下
# https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
wget http://denglab.org/cloudcomputing2018/download/jdk.tar.gz
tar -zxvf jdk.tar.gz

2. 配置系统路径

编辑配置文件

vi ~/.bash_profile

在文末添加以下配置：

#export PATH
export JAVA_HOME=/home/jdk/jdk1.7.0_75
export JAVA_JRE=/home/jdk/jdk1.7.0_75/jre
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0

# path
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH