linux安装pyspark_pyspark学习笔记——安装篇

家里用的单机hadoop，公式用的集群hadoop，此安装基于家里的笔记本。

所以java，hadoop都已经是可以用的。

1。scala语言

spark是以scala语言开发的，所以必须安装scala。

去官网下载tgz包。我这里选择的是2.11.6版本。（windows可以复制下载链接到迅雷，这样会比较快）

然后把tgz包放到你的linux用户目录下。

然后解压,生成不带tgz后缀的文件

tar xvf scala-2.11.6.tgz

把该文件放到一个地方，我这里是放到hadoop相同的local目录下

sudo mv scala-2.11.6 /usr/local/scala

编辑环境变量

vi ~/.bashrc

写入下列保存并source 使其生效

export SCALA_HOME=/usr/local/scala
export PATH=$PATH:$SCALA_HOME/bin

然后在shell里运行scala就能进入scala编译模式