Ubuntu搭建Spark运行环境

前言

    因为之前研究的方向是分布式系统，重点放在了Hadoop分布式文件系统上。现如今，社会对机器学习的需求势如破竹。为了调整研究方向，而且不抛弃原本的研究成果，研究反向便从分布式系统转为分布式机器学习算法（刚起步，可能这种说法会不太正确）。Spark MLlib是Apache Spark的可扩展的机器学习库，并提供有Scala，Java，Python的API。Mahout 是 Apache旗下的一个开源项目，提供了一些可扩展的机器学习领域经典算法的实现，旨在帮助开发人员更加方便快捷地创建智能应用程序。Mahout包含许多实现，包括聚类、分类、推荐过滤、频繁子项挖掘。此外，通过使用 Apache Hadoop 库，Mahout 可以有效地扩展到云中。因此，从今往后重点将会放在Spark Mlib和Mahout上。本文着重描述Spark环境的搭建以及环境测试。

1 基本环境搭建

    1.1 环境变量配置

         使用vim编辑环境变量文件：/etc/profile：

1 #install vim 
2 sudo apt-get install vim
3 #edit env. profile
4 sudo vim /etc/profile

        在/etc/profile文件末尾添加如下内容（为了方便以后更深入学习机器学习，以下配置文件包含protobuf，Mahout等配置。注意：各软件的安装位置需要按需修改）：

 1 #Java env.
 2 export JAVA_HOME=/your_Java_home
 3 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 4 export PATH=$JAVA_HOME/bin:/usr/local/protobuf/bin:$PATH
 5 
 6 #Scala env.
 7 export SCALA_HOME=/your_Scala_home
 8 export PATH=$SCALA_HOME/bin:$PATH
 9 
10 #Spark env.
11 export SPARK_HOME=/your_Spark_home
12 export PATH=$SPARK_HOME/bin:$PATH
13 
14 #Python env.
15 export PYTHONPATH=/your_python_home
16 
17 #Hadoop env.
18 export HADOOP_HOME=/your_hadoop_home
19 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
20 export PATH=$PATH:$HADOOP_HOME/bin
21 export HADOOP_HOME_WARN_SUPPRESS=not_null
22 
23 #Mahout env.
24 export MAHOUT_HOME=/your_Mahout_home
25 export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf
26 export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH

         由于进行Spark基本环境测试时，使用了Hadoop文件操作功能（上传），另需部署Hadoop伪分布式环境。本文着重描述Spark环境搭建，因此不再赘述Hadoop环境搭建。

2 基本环境测试及结果

    2.1 启动Hadoop

         首先，进入Hadoop根目录，如图红框所示。

         其次，使用如下命令启动Hadoop。(备注：注释行命令也可启动Hadoop，不过此方法已经被取代了。）

         最后，通过jps查看Hadoop各个组件是否正确启动。若出现异常，请查阅相关官方文档。

1 #./sbin/start-all.sh
2 ./sbin/start-dfs.sh

    2.2 启动Spark

         由于环境变量配置好了，因此直接使用pyspark启动python shell模式的spark。（官方文档中提供有Scala模式的spark启动模式）

         至此，命令行环境搭建已经完毕。可使用官方文档提供的案例进行测试。注意：需要提前上传测试文件到HDFS。可查阅相关的Hadoop Shell命令。

3 IDE环境搭建

    3.1 Edit Configurations

         红框是需要注意的地方。

         重点一：需要新建一个空python文件才能进行配置。

         重点二：Environment variables中的PYTHONPATH是配置Spark根目录下的python。

    3.2 Project Settings

        为了确保测试代码的库都完整导入，需要进行Project的Settings修改。

        File->Settings->Project Structure->如图所示，将spark路径下的py4j和pyspark库添加到Add Conetent Root中。（若此步骤之后仍有报错，可能需要先使用pip install py4j。）

4 IDE环境测试及结果

     4.1 Word Count测试

         重点一：sc位于pyspark.shell中。

         重点二：若textFile指定HDFS上的文件，需要事先上传测试文件。（官方文档中写明，可以使用本地文件）

         重点三：saveAsTextFile将结果存储到HDFS上时，不能多次存到同一个文件夹。（注意：这个名字是文件夹，结果会有三个文件，或者更多个文件？）

         重点四：Process finished with exit code 0。此时才表示成功执行测试案例。

     4.2 查看测试结果集

         使用Hadoop Shell命令查看wc_output_02文件夹下，存在三个文件。可进一步使用cat命令查看结果。

总结

     整个环境搭建过程中，未遇到特大的问题。官方文档中提供的Examples可以在命令行中直接使用，但在pycharm上则需要添加部分语句，不过算是比较容易解决的小问题。

转载于:https://www.cnblogs.com/choibunbing/p/7143307.html