phoenix
结合spark
配置
在Spark
运行环境中添加Phoenix
依赖,需要在spark-env.sh
添加如下代码:
#添加Phoenix依赖
for file in $(find /opt/hbase-1.2.4/lib |grep phoenix)
do
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$file"
done
export SPARK_DIST_CLASSPATH
这样每次启动spark
任务都会将phoenix
的jar
包添加到classpath
了
这里只说明配置,详细的API
操作见官网Apache Spark Plugin。