ubutun 下配置Spark (hadoop)版本

---

虚拟机：VMware Workstation Pro

操作系统：ubuntu 16.04

一、首先了配置JDK

在www.sun.com里下载jdk

1.新建文件

sudo mkdir /usr/java

2。cd  下载（download)

sudo tar -xzvf jdk-8u111-linux-x64.tar.gz -C /urs/java

3.cd /usr/java

编辑将jdk.1.8.0_111文件名换成 jdk

sudo mv jdk1.8.0_111 jdk  

4sudo vim /etc/profile

sudo :vim 命令找不到可以下载

sudo apt-get install vim

sudo vim /etc/profile

先按i也可以按insert 进行编辑

在文章末尾加入红色框的代码，这是配置java环境的

5.

sudo update-alternatives --install /usr/bin/java java /usr/java /jdk/bin/java 300

update-alternatives --install /usr/bin/javac javac /usr/java /jdk/bin/javac 300

update-alternatives --install /usr/bin/jar jar /usr/java /jdk/bin/jar 300

 /

6. sudo update-alternatives --config java

7

证明java环境和jdk配置完成

---

二、 配置SCALA

1、cd 下载

sudo tar -xzvf scala-2.12.0.tgz -C /usr/local

2.cd /usr/local

sudo mv scala-2.12.0 scala

3.sudo vim /etc/profile

添加红色框的代码

4.source /etc/profile 是配置文件生效

scala -version

scala环境配置完成

5.测试

先输入scala

输入 ：q退出

---

三、安装Hadoop

1.sudo apt install openssh-server

2.ssh-keygen -t rsa

3.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试：

ssh localhost 

ssh_server安装成功

---

四    配置 Hadoop

1. cd 下载

sudo tar -xzvf hadoop-2.7.3.tar.gz -C /usr/local

2.重命名

cd /usr/local

sudo mv hadoop-2.7.3 hadoop

3、修改权限

cd /usr/local

sudo chown -R aurora：aurora hadoop

4。配置环境变量

sudo vim  /etc/profile

在最后添加在最后

export HADOOP_HOME=/usr/local/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

问题一： 命令可在/usr/bin/vim 处可找到，在usr/bin 不在PATH环境变量中，故无法找到该命令执行

解决方案：

sudo /etc/profile

寻找有关于PATH的变量，看PATH变量的最末尾是否有:$PATH，没有添加

5、

hadoop version 

如果没有出现的话

先输入 source /etc/profile 

hadoop version

6.cd /usr/local/hadoop

vim ./etc/hadoop/core-site.xml

#添加为如下

<configuration>

     <property>

          <name>hadoop.tmp.dir</name>

          <value>file:/usr/local/hadoop/tmp</value>

          <description>Abase for other temporary directories.</description>

    </property>

    <property>

          <name>fs.defaultFS</name>

          <value>hdfs://localhost:9000</value>

    </property>

</configuration>

vim ./etc/hadoop/hdfs-site.xml

<configuration>

     <property>

          <name>dfs.replication</name>

          <value>1</value>

      </property>

     <property>

       <name>dfs.namenode.name.dir</name>     

          <value>file:/usr/local/hadoop/tmp/dfs/name</value>

     </property>

     <property>

          <name>dfs.datanode.data.dir</name>    

          <value>file:/usr/local/hadoop/tmp/dfs/data</value>

      </property>

</configuration>

vim ./etc/hadoop/env.sh

export JAVA_HOME=${JAVA_HOME}

在他的前面加上‘#’

新添加

export JAVA_HOME=/usr/java/jdk 

主意：改成自己jdk所在的路径

6测试

hdfs namenode -format

没有任何错误

# 启动 hadoop

start-dfs.sh

# 启动yarn

start-yarn.sh

# 启动历史服务器,以便在Web中查看任务运行情况

mr-jobhistory-daemon.sh start historyserver

通过 Web 界面查看任务的运行情况

浏览器中输入地址: localhost:8088

#!/bin/bash

# 停止历史服务器

mr-jobhistory-daemon.sh stop historyserver

# 停止yarn

stop-yarn.sh

# 停止hadoop

stop-dfs.sh

通过 Web 界面查看任务的运行情况

浏览器中输入地址: localhost:8088




//我的网页进不去？

---

五、安装spark

1、cd 下载

sudo tar -zxf spark-2.0.0-bin-hadoop2.7.tgz -C /usr/local

2、 重命名

cd /usr/ local

sudo mv spark-2.0.0-bin-hadoop2.7 spark

3、

sudo vim /etc/profile

# 在最后添加下面内容

export SPARK_HOME=/usr/ local /spark

export PATH= $SPARK_HOME /bin: $SPARK_HOME /sbin: $PATH

4、修改权限

cd /usr/ local

sudo chown -R aurora：aurora ./spark

5、

cd /usr/ local/spark

cp . /conf/ spark-env.sh.template . /conf/ spark-env.sh

6、

cd /usr/ loca/spark vim . /conf/ spark-env.sh

# 添加下面一行

export SPARK_DIST_CLASSPATH=$( /usr/ local /hadoop/ bin/hadoop classpath)

export JAVA_HOME= /usr/java / jdk

7.测试

/usr/local/spark/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

#!/bin/bash

# 启动Hadoop以及yarn

start-dfs.sh start-yarn.sh

# 启动历史服务器

mr-jobhistory-daemon.sh start historyserver

# 启动Spark

/usr/ local /spark/sbin/start-all.sh

在网页里输入localhost : 8080

#!/bin/bash

# 停止Spark

stop-dfs.sh

stop-yarn.sh

# 停止历史服务器

mr-jobhistory-daemon.sh stop historyserver

# 停止Hadoop以及yarn

/usr/ local /hadoop/sbin/stop-all.sh

在网页里输入localhost : 8080

---

六、安装eclipse（可以不安装）

1、官网下载eclipse-neon

2、sudo mkdir /usr/local/eclipse

cd 下载

sudo tar eclipse-java-neon-1a-linuc-gtk-x86_64.tar.tar.gz -C  /usr/local/eclipse

3启动eclipse

/usr/local/eclipse/eclipse/eclipse