准备
Java Downloads | Oracle 官网:下载hadoop-2.7.3.tar.gz
Apache Hadoop 官网:下载hadoop-2.7.3.tar.gz
下到本地后用Xftp 6或者其它方法上传到服务器,我上传到了/opt/local
,用XShell和notepad++(或vscode或直接vi编辑器)连接服务器
连接XShell后,执行停止防火墙 systemctl stop firewalld.service
,禁止firewall开机启动 systemctl disable firewalld.service
,查看firewall-cmd --state
显示not running
解压
连上服务器先切到压缩包路径下,cd /opt/software
,执行解压缩,解压到/usr/local/
(必须是这个路径,不要自定义)
tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local/ #解压jdk
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ # 解压hadoop
配置JDK环境
在notepad++中打开/etc/profile
,最后面添加
export JAVA_HOME=/usr/local/jdk1.8.0_162 #<-改成自己的jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
配置完成后输入XShell中source /etc/profile
让环境变量生效
检查结果输入javac
或javac
或java -version
返回相关信息
# 示例
[root@server1 ~]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)
配置Hadoop
Hadoop有三种模式
-
Local (Standalone) Mode(本地模式):开发人员debug调试使用,local把文件存到本地的文件系统中
-
Pseudo-Distributed Mode(伪分布式):开发人员debug调试使用,在本地搭建HDFS,伪分布式,完全分布
-
Fully-Distributed Mode(完全分布式(集群) ):生产环境使用,高可用性,比如突然有个节点出问题,保证集群还可用
本地模式
在notepad++中打开/etc/profile
,最后面添加
export HADOOP_HOME=/usr/local/hadoop-2.7.3 #<-换成自己的
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
配置完成后输入XShell中输入source /etc/profile
让环境变量生效,接着
cd ~
cd $HADOOP_HOME
cd share/hadoop/mapreduce
ls # 查看目录有一个hadoop-mapreduce-examples-2.7.3.jar,用这个测试样例程序
hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 10 20 #返回圆周率
# 结果返回一大串最后一行是圆周率,就对了
Job Finished in 6.524 seconds
Estimated value of Pi is 3.12000000000000000000
伪分布模式
完全分布式需要免密登录,不然每一次都需要输入密码
根目录下没有.ssh
这个文件,在XShell中输入ssh localhost
输入密码,输入yes
,exit
,退出之后,输入ls -a
此时根目录下已有.ssh