软硬件环境
lunix机器三台及以上,window机器一台安装xshell来控制所有lunix机器
机器之间在同一个局域网,通过xshell可以互相ping通
可创建新用户并赋给管理员权限并在用户下搭建环境
直接在root用户下搭建环境
所有配置均在一台机器改配置文件,然后发送给其他机器节点
集群之间必须做免密通信
cd /etc/profile 最终 配置文件
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_172
export HADOOP_HOME=/usr/local/hadoop-2.8.2
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib/tools.jar
export PATH=${JAVA_HOME}/bin:$PATH
export PATH=${HADOOP_HOME}/bin:$PATH
export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=${SPARK_HOME}/bin:$PATH
export SCALA_HOME=/usr/local/scala-2.11.12
export PATH=${SCALA_HOME}/bin:$PATH
1.1、检查一下系统中的jdk版本
java -version
检测jdk安装
rpm -qa | grep java
卸载openjdk
yum remove *openjdk*
之后再次输入rpm -qa | grep java 查看卸载情况:
安装自己的jdk
1.2修改计算机别名
vi /etc/hosts 计算机别名
添加
192.168.1.101 master
192.168.1.102 slaves1
192.168.1.103 slaves2
给主机取别名
通过xshell 输入 vim /etc/hosts 然后点击 i 实现快捷键插入功能
#主节点
192.168.1.101 master
#从节点
192.168.1.102 slaves1
#从节点
192.168.1.1