Spark ML 分布式机器学习(一):iPython+spark安装与环境变量配置
—– 来自“慢慢变强的me”.2017-04-09
本人是DM领域里菜鸟一枚,原热衷于sklearn进行机器学习,经过阿里巴巴的电话面试以及网上查询看到许多公司都是用分布式spark进行数据挖掘及机器学习,经过了解和一些视频介绍决定把数据挖掘及机器学习转移到spark上,一直喜欢Python的我,spark也有相应的API–pyspark shell。工欲善其事必先利其器,经过网上博客等文章的查询,我在这篇文章里主要写了Windows7上的VMware Workstation虚拟机Ubuntu14.04中配置Anaconda(Python2.7)以支持Saprk2.0(Pyspark)安装详细步骤,以为搭建一个独立的属于自己习惯的环境,以备自己以后更好的数据挖掘及机器学习,如有幸被其他同学看到还请指点不足之处,如有不幸带来困扰还请评论于我或私信于我(知乎:慢慢变强的me;CSDN:慢慢变强的me)。最后,本文纯属个人编写,转载请注明出处。
- VM虚拟机Ubuntu14.04的环境搭建
- 安装Aanconda(Python2.7)
- 安装Java SDK
- 安装Spark2.0
- 配置环境变量
一、VM虚拟机Ubuntu14.04的环境搭建(略)
二、安装Anaconda(Python2.7)
根据自己需要下载anaconda版本:下载网址
(1)利用wget下载Anaconda
(2)在Terminal里输入:bash Anaconda2-4.3.1-Linux-x86_64.sh
点击回车即可。
(3)一路点击回车,直到出现:
Do you approve the license terms? [yes|no]
>>>
Please answer 'yes' or 'no':
然后输入yes
。
(4)点击回车,等一会儿出现:Thank you for installing Anaconda2!####安装成功!(其实,没有成功,我在安装的过程中没有提示我更改环境变量,然后我在安装好Python后又进行了环境变量配置)
(5)在Terminal里输入:sudo gedit /etc/profile
打开profile文件,在最后面增加一行代码:export PATH=/home/pysml/anaconda2/bin:$PATH,
其中,/home/pysml/anaconda2是我anaconda2安装路径。
(6)保存profile,重启ubuntu,输入:python 进行测试出现以下即安装成功。
三、安装Java SDK(安装的是java9)
(1)只需要在Terminal输入: sudo apt-get install software-properties-common
(2)sudo add-apt-repository ppa:webupd8team/java
(3)sudo apt-get update
(4)sudo apt-get install oracle-java9-installer
(5)再输入:java -version
,出现以下即安装成功。
四、安装spark2.0
根据自己需要选择spark版本,下载网址
如下是本人所选择的版本:
选择Spark版本: Spark2.0.2(发布于2016.11.14);
选择下载包的类型:Pre-built for Hadoop 2.7 and later;
选择下载类型: Direct Download;
对应spark压缩包: spark-2.0.2-bin-hadoop2.7.tgz
(1)下载上述选择的spark。wget以下就链接OK。
http://d3kbcqa49mib13.cloudfront.net/spark-2.0.2-bin-hadoop2.7.tgz
(2)解压spark-2.0.2-bin-hadoop2.7.tgz。代码为:tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz。
(3)因为解压后会生成一个spark-2.0.2-bin-hadoop2.7文件夹,为了方便可以去解压的存放路径手动改成名为spark的文件夹。
(4)然后进行配置环境变量:进入profile文件,在其最后增加以下代码:(进入profile的文件代码为:sudo gedit /etc/profile
)
export ANACONDA_ROOT=~/anaconda2
PYSPARK_DRIVER_PYTHON=jupyter ./bin/pyspark
(5)其实这步骤就可以验证spark是否安装成功。但比较繁锁:
cd ~/spark
./bin/pyspark
(6)为了不要每次都要进行cd进入文件里调用pyspark,然后在.bashrc文件里进行spark的环境变量配置。和profile一样,进入.bashrc文件在其最后增加以下代码:(进入.bashrc文件的代码:sudo gedit ~/.bashrc
把下面的代码增加完然后再输入:source ~/.bashrc
)
export PATH=$PATH:/home/pysml/spark/bin (/home/pysml/spark表示spark的路径,根据自己的路径进行更换)
(7)直接在Terminal里输入:pyspark就直接运行了。出现一个以下标志说明安装成功了,下面出现>>>,说明进入了Python里了。
(8)打开pyspark是Python,但想用ipython进行编程。
进入.bashrc文件在其最后增加以下代码:(进入.bashrc文件的代码:sudo gedit ~/.bashrc
把下面的代码增加完然后再输入:source ~/.bashrc
)
export PATH=”/home/pysml/anaconda2/bin:$PATH”
export PYSPARK_DRIVER_PYTHON=ipython
(9)在Terminal里输入:pyspark,出现下图#####spark里配置ipython成功。
注:如有幸被其他同学看到还请指点不足之处,如有不幸带来困扰还请评论于我或私信于我。最后,本文纯属个人编写,转载请注明出处
参考链接:
1、http://jingyan.baidu.com/article/20b68a8893ae50796cec62b4.html
2、http://blog.csdn.net/duxu24/article/details/53587451
3、http://blog.csdn.net/dst1213/article/details/52107915