搭建单机伪分布式Hadoop+spark+scala

伪分布式hadoop
安装 JAVA 环境
步骤一：下载 JDK 安装包（jdk-8u271-linuxx64.tar.gz）
官网地址：https://www.oracle.com/java /technologies /javase-jdk8-downloads.html

步骤二：卸载自带 OpenJDK
[root@slave1 ~]# rpm -qa | grep java

卸载相关服务，键入命令 rpm –e –-nodeps 删除的包

 [root@slave1 ~]# rpm -qa | grep java

[root@slave1 ~]# java --version

bash: java: 未找到命令

步骤三：安装 JDK
安装命令如下，将安装包解压到/usr/local/src 目录下，将安装包放在了root目录下

[root@slave1 ~]# tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@slave1 ~]# ls /usr/local/src/
jdk1.8.0_271

步骤四：设置 JAVA 环境变量

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export JAVA_HOME=/usr/local/src/jdk1.8.0_271

export PATH=$PATH:$JAVA_HOME/bin

执行 source 使设置生效：

[root@slave1 ~]# source /etc/profile

检查 JAVA 是否可用。

[root@slave1 ~]# echo $JAVA_HOME /usr/local/src/jdk1.8.0_271

[root@slave1 ~]# java -version

java version "1.8.0_271"

Java(TM) SE Runtime Environment (build 1.8.0_271-b16)

Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

能够正常显示 Java 版本则说明 JDK 安装并配置成功。

实现免密登陆
步骤一：创建ssh秘钥，输入如下命令，生成公私密钥

[root@slave1 ~]# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

步骤二：将master公钥id_dsa复制到master进行公钥认证，实现本机免密登陆，测试完exit退出

[root@slave1 ~]# ssh-copy-id -i /root/.ssh/id_dsa.pub slave1

[root@slave1 ~]# ssh slave1

[root@slave1 ~]# exit

Hadoop环境的安装与配置
步骤一：将/root/runajian下的hadoop-2.7.7.tar.gz压缩包解压到/src目录下，并将解压文件改名为hadoop

步骤二：修改环境变量

[root@slave1 ~]# vim /etc/profile

export HADOOP_HOME=/usr/local/src/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

[root@slave1 ~]# source /etc/profile 

步骤三：编辑/usr/local/src/hadoop/hadoop-env.sh文件

[root@slave1 ~]# vi /usr/local/src/hadoop/hadoop-env.sh

修改配置文件为jdk的安装路径：

export JAVA_HOME=/usr/local/src/jdk1.8.0_271

步骤四：编辑/opt/hadoop/etc/hadoop/core-site.xml文件

[root@slave1 ~]# vi /usr/local/src/hadoop/core-site.xml
修改配置文件为：

<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://master</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/tmp</value>
</property>
</configuration>

步骤五：编辑/opt/hadoop/etc/hadoop/hdfs-site.xml文件

[root@slave1 ~]#  vi /opt/hadoop/etc/hadoop/hdfs-site.xml

修改配置文件：

<configuration>

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

</configuration>

步骤六：

复制/usr/local/src/hadoop/mapred-site.xml.tmplate 名为mapred-site.xml 

[root@slave1 ~]# cp /usr/local/src/hadoop/mapred-site.xml.template /usr/local/src/hadoop/mapred-site.xml

编辑/usr/local/sr/hadoop/mapred-site.xml文件

[root@slave1 ~]# vi /usr/local/src/hadoop/mapred-site.xml
修改配置为：

<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

步骤七：编辑/usr/local/src/hadoop/yarn-site.xml文件

[root@slave1  ~]# vi /usr/local/s/hadoop/yarn-site.xml

修改配置为：

<configuration>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

 步骤八：编辑/usr/local/src/hadoop/slaves文件

[root@slave1 ~]# vim /usr/local/src/hadoop/slaves

步骤九： 格式化hdfs

[root@slave1 ~]# hdfs namenode -format

 步骤十：启动集群 jps查看,登录网页

[root@slave1 ~]# start-all.sh

[root@slave1 ~]# jps

在浏览器的地址栏输入192.168.10.10，进入页面可以查看NameNode和DataNode 信息 

安装伪分布式spark
步骤一：安装命令如下，将安装包解压到/usr/local目录下，将安装包放在了root目录下

[root@slave1 ~]# tar -zxf spark-2.0.0-bin-hadoop2.6.tgz -C /usr/local/src

步骤二：复制和重命名后得到spark-env.sh，打开spark-env.sh添加内容

[root@slave1 bin]# cd /usr/local/src/spark-2.0.0-bin-hadoop2.6/conf/

[root@slave1  conf]# cp spark-env.sh.template spark-env.sh
[root@slave1  conf]# vi spark-env.sh

export JAVA_HOME=/usr/local/src/jdk1.8.0_271
export HADOOP_HOME=/usr/local/src/hadoop
export HADOOP_CONF_DIR=/usr/local/src/hadoop
export SPARK_MASTER_IP=slave1
export SPART_LOCAL_IP=slave1

步骤三：进入spark目录的/sbin下启动spark集群，jps查看

[root@slave1 conf]# cd /usr/local/src/spark-2.0.0-bin-hadoop2.6/sbin/
[root@slave1 sbin]# ./start-all.sh
[root@slave1 sbin]# jps

步骤四：启动spark-ahell

[root@slave1 ~]# cd /usr/local/src/spark-2.0.0-bin-hadoop2.6/
[root@slave1 spark-2.0.0-bin-hadoop2.6]# ./bin/spark-shell

步骤五：查看网页192.168.10.10

 安装伪分布式scala
步骤一：安装命令如下，将安装包解压到/usr/local/src目录下，将安装包放在了root目录下

[root@slave1 ~]# tar -zxf scala-2.11.8.tgz -C /usr/local/src

步骤二：配置scala环境变量，重新加载配置文件，运行scala

[root@slave1 ~]# vim /etc/profile

export SCALA_HOME=/usr/local/src/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin

 [root@slave1 ~]# source /etc/profile
[root@slave1 ~]# scala
Welcome to Scala 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_152).
Type in expressions for evaluation. Or try :help.