本文档详细介绍了在CentOS 6和Spark 2.1.0环境下安装Graphframes 0.5.0的步骤，包括下载jar包，配置环境变量，将jar包复制到集群所有节点，修改spark-env.sh，以及通过jupyter notebook和spark-submit进行测试。
安装环境
java：1.8
centos：6
spark：2.1.0
graphframes：0.5
1、安装和测试graphframes（root账户）
a、下载graphframes的最新版jar包到spark目录下的python/lib目录
cd /usr/hdp/2.6.0.3-8/spark2/python/lib
wget http://dl.bintray.com/spark-packages/maven/graphframes/graphframes/0.5.0-spark2.1-s_2.11/graphframes-0.5.0-spark2.1-s_2.11.jar
b、配置/etc/profile, 在最后增加一条
PYTHONPATH=/usr/hdp/2.6.0.3-8/spark2/python/lib/graphframes-0.5.0-spark2.1-s_2.11.jar:$PYTHONPATH
c、执行下列命令，使之生效
source /etc/profile
d、安装graphframes
spark-shell --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11
这样会在~/.ivy2/jars/目录中生成5个jar包文件，
e、将前面生成的5个jar包文件复制到spark目录的sharelib子目录
mkdir /usr/hdp/2.6.0.3-8/spark2/sharelib
cp -r ~/.ivy2/jars/*.jar /usr/hdp/2.6.0.3-8/spark
java：1.8
centos：6
spark：2.1.0
graphframes：0.5
1、安装和测试graphframes（root账户）
a、下载graphframes的最新版jar包到spark目录下的python/lib目录
cd /usr/hdp/2.6.0.3-8/spark2/python/lib
wget http://dl.bintray.com/spark-packages/maven/graphframes/graphframes/0.5.0-spark2.1-s_2.11/graphframes-0.5.0-spark2.1-s_2.11.jar
b、配置/etc/profile, 在最后增加一条
PYTHONPATH=/usr/hdp/2.6.0.3-8/spark2/python/lib/graphframes-0.5.0-spark2.1-s_2.11.jar:$PYTHONPATH
c、执行下列命令，使之生效
source /etc/profile
d、安装graphframes
spark-shell --packages graphframes:graphframes:0.5.0-spark2.1-s_2.11
这样会在~/.ivy2/jars/目录中生成5个jar包文件，
e、将前面生成的5个jar包文件复制到spark目录的sharelib子目录
mkdir /usr/hdp/2.6.0.3-8/spark2/sharelib
cp -r ~/.ivy2/jars/*.jar /usr/hdp/2.6.0.3-8/spark
最低0.47元/天 解锁文章
6406
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
