Spark是Hadoop的子项目。 因此,最好将Spark安装到基于Linux的系统中。 以下步骤说明如何安装Apache Spark。
步骤1:验证Java安装
Java安装是安装Spark的强制性要求之一。 尝试使用以下命令验证JAVA版本。
![55ed68f58800c05b15adbf33ed5efccb.png](https://i-blog.csdnimg.cn/blog_migrate/baebdabfb436f46064aa0da05ebb72da.png)
如果Java已经,安装在系统上,你能看到以下响应 。
![9137095301adb8609835a87290a612f0.png](https://i-blog.csdnimg.cn/blog_migrate/366e1f191566f29dcd5129b6b0887d9b.png)
如果您没有在系统上安装Java,请在继续下一步之前安装Java。
步骤2:验证Scala安装
你应该使用Scala语言来实现Spark。 因此,让我们使用以下命令验证Scala安装。
![b17bbc1b832e60740e965f560eff6155.png](https://i-blog.csdnimg.cn/blog_migrate/7acbb5d643b4d158613873bb36bde0ac.png)
如果Scala是已经安装在系统中,你能看到以下响应
![b4a22862da694923f9af20b77fb2d025.png](https://i-blog.csdnimg.cn/blog_migrate/b56ee70da8dc26d782f980e8884cf35b.png)
如果您没有在系统上安装Scala,请继续执行Scala安装的下一步。
步骤3:下载Scala
通过访问以下链接下载Scala的最新版本:下载Scala。 对于本教程,我们使用scala-2.11.6版本。 下载后,您将在下载文件夹中找到Scala tar文件。
步骤4:安装Scala
按照以下给出的安装Scala的步骤。提取Scala tar文件键入以下命令以解压缩Scala tar文件。
![a4842a98e116a2dc482c8c117c180434.png](https://i-blog.csdnimg.cn/blog_migrate/a6acfa6b84d0c4b06d1f262f0accb5b3.png)
移动Scala软件文件
使用以下命令将Scala软件文件移动到相应的目录(/ usr / local / scala)。
![89f655afc769eb3eb50864bf6de5f692.png](https://i-blog.csdnimg.cn/blog_migrate/7b77b57d4a06d5755f0944acea86fbc7.png)
移动Scala软件文件
使用以下命令将Scala软件文件移动到相应的目录(/ usr / local / scala)。
![2604631b79ea1d45f2dc84757ce87a52.png](https://i-blog.csdnimg.cn/blog_migrate/5f118b63abc506c2ea81e4cf09af0809.png)
为Scala设置PATH
使用以下命令设置Scala的PATH。
![136e66d7b5eff237b2046b6ee665eccd.png](https://i-blog.csdnimg.cn/blog_migrate/7e9a87bbb538de1a1c758ec76bceb259.png)
验证Scala安装
安装后,最好验证它。 使用以下命令验证Scala安装。
![5eae47e50778c036b9512eed977640df.png](https://i-blog.csdnimg.cn/blog_migrate/8d6725ebc4d2543a7cc316f8959bb655.png)
如果Scala是已经安装在系统中,你能看到以下响应
![e67b5802d29a061ebf968aaf0c31058d.png](https://i-blog.csdnimg.cn/blog_migrate/7f8bf38512f5e9189bef887373577eef.png)
步骤5:下载Apache Spark
通过访问以下链接下载Spark的最新版本。 对于本教程,我们使用spark-1.3.1-bin-hadoop2.6版本。 下载后,你会在下载文件夹中找到Spark tar文件。
步骤6:安装Spark
按照以下步骤安装Spark。
提取Spark tar以下命令用于提取spark tar文件。
![faa77051427377e517847599b014b8f7.png](https://i-blog.csdnimg.cn/blog_migrate/3b2e99fbde0f14507ef3a0a532bece10.png)
移动Spark tar软件文件
以下命令用于将Spark软件文件移动到相应的目录(/ usr / local / spark)。
![4a2fb341ea9a14fc05bdba3f5a3ed2b7.png](https://i-blog.csdnimg.cn/blog_migrate/8d3f0bedee711eca0be1915567fbca27.png)
设置Spark的环境
将以下行添加到〜/ .bashrc文件。 这意味着将spark软件文件所在的位置添加到PATH变量。
![54d826e4433dbacca9920d79d5c5d8f4.png](https://i-blog.csdnimg.cn/blog_migrate/ec6d0d897417901b1b5f8c6eed9e737a.png)
使用以下命令获取〜/ .bashrc文件。
![9362e673cbe7f2fb91496fd7d2cce000.png](https://i-blog.csdnimg.cn/blog_migrate/e58b6ee056874483b97773a65fc48474.png)
步骤7:验证Spark安装
编写以下命令以打开Spark shell。
![d234b57cc852c8c8dc259211dfe2b10c.png](https://i-blog.csdnimg.cn/blog_migrate/e809d31f98a3a2e1e36eedeccfb35a0d.png)
如果spark安装成功,那么您将找到以下输出。
![f7c20fdfde4becc4f8dd81f7940e58a9.png](https://i-blog.csdnimg.cn/blog_migrate/7d5844b13681c4f49c4102069db06d62.jpeg)