Hadoop的核心为HDFS、YARN、MapReduce
1. 安装JAVA和Hadoop
首先准备好环境:CentOS-7
然后下载JDK,这里注意hadoop目前只支持jdk7和jdk8,不支持jdk11
安装OpenJDK:sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
然后需要配置JAVA_HOME环境变量:
vim /etc/profile
JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export JAVA_HOME
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile
然后我们可以检查是否生效:
echo $JAVA_HOME
java -version
$JAVA_HOME/bin/java -version # 应该和上面的命令执行之后一模一样
下载hadoop压缩包并且解压:
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
tar -xzvf hadoop-2.9.2.tar.gz
然后配置hadoop环境变量:
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile
然后现在可以hadoop version
来查看版本测试是否成功
2. 配置Hadoop
然后我们还需要配置几个配置文件: cd /usr/local/hadoop-2.9.2/etc/hadoop/
-
修改
core-site.xml
文件:里面已经存在configuration
标签<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.9.2/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://10.96.95.172:9000</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> <description>Should native hadoop libraries, if present, be used. </description> </property> </configuration>
-
修改
hadoop-env.sh
配置自己安装的JDK的位置:export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
-
修改
hdfs-site.xml
文件:<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.secondary.http.address</name> <value>10.96.95.172:50090</value> </property>
-
cp mapred-site.xml.template ./mapred-site.xml
并且配置该文件<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
-
配置
yarn-site.xml
文件:记得把ip替换成自己的ip<property> <name>yarn.resourcemanager.hostname</name> <value>10.96.95.172</value> </property> <!-- reducer获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
3. 启动Hadoop
这样相关配置就已经ready了,我们接下来cd /usr/local/hadoop-2.9.2/sbin/
先格式化hadoop文件格式:hadoop namenode -format
然后启动:./start-all.sh
最后通过jps
命令可以查看启动的服务:
这里看到都成功了之后,可以访问ip:50070
访问网页查看