实验操作平台5

安装spark

1.创建和解压：

mkdir -p /usr/scala && cd /usr/scala

tar -zxvf /usr/package277/scala-2.11.11.tgz -C /usr/scala/
3.修改变量

vim /etc/profile

export SCALA_HOME=/usr/scala/scala-2.11.11
export CLASSPATH=$SCALA_HOME/lib/
export PATH=SCALA_HOME/bin
export PATH SCALA_HOME CLASSPATH

4.生效并查看：

source /etc/profile
scala -version

5.复制

scp -r /usr/scala root@slave1:/usr/

scp -r /usr/scala root@slave2:/usr/

1.创建：

mkdir -p /usr/spark && cd /usr/spark
tar -zxvf /usr/package277/spark-2.4.3-bin-hadoop2.7.tgz -C /usr/spark/

配置：

vim /etc/profile

export SPARK_HOME=/usr/spark/spark-2.4.3-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

生效：

source /etc/profile

1.配置spark-env.sh

cd /usr/spark/spark-2.4.3-bin-hadoop2.7/conf && vim spark-env.sh

写入

export SPARK_MASTER_IP=master
export SCALA_HOME=/usr/scala/scala-2.11.11
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/usr/java/jdk1.8.0_221
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.7/etc/hadoop

1.配置spark从节点

vim slaves

slave1
slave2

1.复制：

scp -r /usr/spark root@slave1:/usr/

scp -r /usr/spark root@slave2:/usr/

修改slave1和slave2的环境变量，此步骤和修改master中spark环境变量相同，这里就不多介绍了，最后记得是环境变量生效。这时我们的spark环境就安装成功了
测试：在master ：

/usr/spark/spark-2.4.3-bin-hadoop2.7/sbin/start-all

安装hbase

mkdir -p /usr/hbase && cd /usr/hbase
tar -zxvf hbase-1.2.4-bin.tar.gz -C /usr/hbase

2.进入hbase配置目录conf，修改配置文件hbase-env.sh，添加配置变量：

cd /usr/hbase/hbase-1.2.4/conf
vim hbase-env.sh

写入

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

修改hbase-site.xml

vim hbase-site.xml

<property>
　　<name>hbase.rootdir</name>
　　<value>hdfs://master:9000/hbase</value>
</property>
<property>
　　<name>hbase.cluster.distributed</name>
　　<value>true</value>
</property>
<property>
　　<name>hbase.master</name>
　　<value>hdfs://master:6000</value>
</property>
<property>
　　<name>hbase.zookeeper.quorum</name>
　　<value>master,slave1,slave2</value>
</property>
<property>
　　<name>hbase.zookeeper.property.dataDir</name>
　　<value>/usr/zookeeper/zookeeper-3.4.14</value>
</property>

在master上面

vim regionservers

加入

slave1
slave2

保存退出

cp /usr/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml  ../conf
cp /usr/hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml  ../conf

分配slave1和slave2中

scp -r /usr/hbase root@slave1:/usr/

scp -r /usr/hbase root@slave2:/usr/