SPARK编译部署和sparkbench编译

最新推荐文章于 2019-10-11 20:33:09 发布

qq_39616976

最新推荐文章于 2019-10-11 20:33:09 发布

阅读量408

点赞数

分类专栏：性能分析文章标签： spark部署 sparkbench

本文链接：https://blog.csdn.net/qq_39616976/article/details/81869227

版权

本文详细介绍了如何在Ubuntu上编译部署Spark，包括安装JDK、Maven、Scala，设置SSH无密码登录，部署Hadoop，以及编译Spark源码和standalone模式。此外，还涵盖了SparkBench的下载、编译及其配置步骤，为Spark性能测试提供准备。

摘要由CSDN通过智能技术生成

SPARK编译部署和sparkbench编译

1. 安装JDK7.0以上版本**

先输入以下命令查看是否安装了JDK:
java -version
如果没有安装JDK,在ubuntu上可以直接通过以下命令安装:
sudo apt-get install openjdk-7-jdk
默认安装目录为：usr/lib/jvm/java-7-openjdk-ppc64el
设置环境变量
sudo vim /etc/profile
export JAVA_HOME=usr/lib/jvm/java-7-openjdk-ppc64el
export PATH=（dollar符号）JAVA_HOME/bin:（dollar符号）PATH
source /etc/profile

2. 安装maven

先输入以下命令查看是否安装了maven：
mvn -v
两种安装方式：
（1）在ubuntu上，可以使用apt-get install maven来安装，但是版本可能太低，会导致一些错误；
（2）建议在maven官网：http://maven.apache.org/download.cgi下载maven源码进行安装。
A.确保JAVA_HOME环境变量被设置，安装了JDK；
B.将下载的maven源码包解压后，将bin增加到环境变量中，例如：