集群搭建(二) 环境搭建Linux配置JDK Hadoop

准备

Java Downloads | Oracle 官网：下载hadoop-2.7.3.tar.gz

Apache Hadoop 官网：下载hadoop-2.7.3.tar.gz

下到本地后用Xftp 6或者其它方法上传到服务器，我上传到了/opt/local，用XShell和notepad++(或vscode或直接vi编辑器)连接服务器

连接XShell后，执行停止防火墙 systemctl stop firewalld.service，禁止firewall开机启动 systemctl disable firewalld.service，查看firewall-cmd --state 显示not running

解压

连上服务器先切到压缩包路径下，cd /opt/software，执行解压缩，解压到/usr/local/(必须是这个路径，不要自定义)

tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local/	#解压jdk
tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/	# 解压hadoop

配置JDK环境

在notepad++中打开/etc/profile，最后面添加

export JAVA_HOME=/usr/local/jdk1.8.0_162	#<-改成自己的jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

配置完成后输入XShell中source /etc/profile让环境变量生效

检查结果输入javac或javac或java -version返回相关信息

# 示例
[root@server1 ~]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

配置Hadoop

Hadoop有三种模式

1. Local (Standalone) Mode(本地模式)：开发人员debug调试使用，local把文件存到本地的文件系统中

2. Pseudo-Distributed Mode(伪分布式)：开发人员debug调试使用，在本地搭建HDFS，伪分布式，完全分布

3. Fully-Distributed Mode(完全分布式(集群) )：生产环境使用，高可用性，比如突然有个节点出问题，保证集群还可用

本地模式

在notepad++中打开/etc/profile，最后面添加

export HADOOP_HOME=/usr/local/hadoop-2.7.3	#<-换成自己的
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成后输入XShell中输入source /etc/profile让环境变量生效，接着

cd ~
cd $HADOOP_HOME
cd share/hadoop/mapreduce
ls		# 查看目录有一个hadoop-mapreduce-examples-2.7.3.jar，用这个测试样例程序
hadoop jar hadoop-mapreduce-examples-2.7.3.jar pi 10 20	#返回圆周率

# 结果返回一大串最后一行是圆周率，就对了
Job Finished in 6.524 seconds
Estimated value of Pi is 3.12000000000000000000

伪分布模式

完全分布式需要免密登录，不然每一次都需要输入密码

根目录下没有.ssh这个文件，在XShell中输入ssh localhost输入密码，输入yes，exit，退出之后，输入ls -a此时根目录下已有.ssh