一、Hadoop简介
Hadoop是一个开源框架,允许使用简单的编程模型在跨计算机集群的分布式环境中存储和处理大数据。它的设计是从单个服务器扩展到数千个机器,每个都提供本地计算和存储。
二、安装环境
系统:CentOS 7.6
JDK:1.7
Hadoop:2.6.0
两台虚拟机,一台作为 Namenode,另一台作为Datanode
Namenode 192.168.164.xx1
Datanode 192.168.164.xx2
注:虚拟机的 ip 可以通过命令 ifconfig 得知。
二、安装流程
1. 下载 Hadoop、jdk
Hadoop 各个版本下载网址:http://archive.apache.org/dist/hadoop/common/
本次实验测试为 Hadoop 2.6.0
mkdir /home/hadoop
cd /home/hadoop/
wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
tar -zxvf hadoop-2.6.0.tar.gz
mkdir /home/jdk
cd /home/jdk/
# 如果下载不了,可以去官网下载再放到该目录下
# https://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
wget http://denglab.org/cloudcomputing2018/download/jdk.tar.gz
tar -zxvf jdk.tar.gz
2. 配置系统路径
编辑配置文件
vi ~/.bash_profile
在文末添加以下配置:
#export PATH
export JAVA_HOME=/home/jdk/jdk1.7.0_75
export JAVA_JRE=/home/jdk/jdk1.7.0_75/jre
export HADOOP_HOME=/home/hadoop/hadoop-2.6.0
# path
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH