在Windows上build Spark

最新推荐文章于 2024-08-11 16:03:42 发布

weixin_34081595

最新推荐文章于 2024-08-11 16:03:42 发布

阅读量82

点赞数

文章标签：大数据 shell python

原文链接：https://my.oschina.net/u/1452001/blog/344067

版权

在本机（Windows 8）上安装spark玩一玩，Spark的Quick Start上没有指明具体步骤，自己Build好了之后把步骤记录一下。

首先，到Spark的官网上下载Spark的压缩包，然后解压缩到本地文件夹。我下的是Spark 1.1.0，目前最新的release，链接spark-1.1.0.tgz。
按照文档上运行bin/spark-shell，会提示找不到所需的jar包，需要重新build生成这个jar包。
首先确认本机是否已安装Scala和SBT，scala需要2.10.x版本，sbt我用的是0.13，如果没有安装的就从网上下载安装。将sbt的bin添加到windows path环境变量下，确保可以运行。
到Spark的root目录下，运行sbt package，这会将spark所有依赖的lib下载到本地的ivy repository（sbt默认使用ivy repository)
第四步成功完成之后，spark依赖的库已经具备，运行sbt assembly，这会将spark依赖的库和spark本身assemble成一个很大的jar包。这步完成后，你会在assembly\target\scala-2.10下找到spark-assembly-1.1.0-hadoop1.0.4.jar, spark-assembly_2.10-1.1.0.jar这两个jar包

上述步骤完成之后，就可以在bin下运行spark-shell，可以成功进入shell，进行操作。

转载于:https://my.oschina.net/u/1452001/blog/344067