SPARK2-2.3.0.cloudera3-1.cdh5.13+zeppelin0.8+impala

1.以前我搭建的事0.7.3对应的事spark2.1,现在spark-2.3以后zeppelin-0.7.3不兼容,所以使用0.8不过也折腾了半天jar包不匹配

2.修改配置文件

cd  /zeppelin-0.8.0-bin-all/conf

cp  zeppelin-env.sh.template zeppelin-env.sh

cp zeppelin-site.xml.template zeppelin-site.xml

vim zeppelin-env.sh

 配置文件修改

export HIVE_HOME=/data/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hive
export JAVA_HOME=/usr/java/jdk1.8.0_144
export MASTER=yarn-client
export ZEPPELIN_JAVA_OPTS="-Dmaster=yarn-client -Dspark.yarn.jar=/data/zeppelin/zeppelin-0.8.0-bin-all/interpreter/spark/spark-interpreter-0.8.0.jar"
#export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.10:1.2.0"
export DEFAULT_HADOOP_HOME=/data/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hadoop
export SPARK_HOME=/data/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2
#export SPARK_HOME=/opt/cloudera/parcels/CDH-5.9.0-1.cdh5.9.0.p0.23/lib/spark
export HADOOP_HOME=${HADOOP_HOME:-$DEFAULT_HADOOP_HOME}
echo $HADOOP_HOME
echo $SPARK_HOME
if [ -n "$HADOOP_HOME" ]; then
        export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${HADOOP_HOME}/lib/native
fi
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-/etc/hadoop/conf}


export ZEPPELIN_LOG_DIR=/var/log/zeppelin
export ZEPPELIN_PID_DIR=/var/run/zeppelin
export ZEPPELIN_WAR_TEMPDIR=/var/tmp/zeppelin

3.配置这些其实已经足够了,还要把hive-site.xml拷贝到zeppelin的conf目录。

在启动

./zeppelin-daemon.sh start

4.在界面上配置就可以使用了hive的配置这个

以下的lib都是zeppelin-0.8.0-bin-all/lib这个目录

复制spark2.3的/data/cloudera/parcels/SPARK2/lib/spark2/jars 到zeppelin-0.8.0-bin-all/interpreter/spark/dep/ 

把以前的dep目录命名为dep2

hadoop的包

 json的包

impala包

netty包

impala的插件配置

可以进行spark查询了

直接写sql也行

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值