Hive Spark引擎

Spark on yarn

官方文档

1. 下载spark-hadoop注意对应版本
2. 修改配置文件spark-env.sh

   export SPARK_DIST_CLASSPATH=$(hadoop classpath)
   export HADOOP_HOME=/opt/hadoop-3.2.1
   export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
   export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
   

Hive on Spark

官方文档

1. 注意对应版本
2. 复制需要的jar包到hive目录下
3. 修改配置（可以临时，也可以修改配置文件（永久））

USE liubin;

SET hive.execution.engine=spark;
-- spark on yarn 不需要设置，
-- SET spark.master='spark://LAPTOP-MOJU49C3.localdomain:7077';
SET spark.eventLog.enabled=true;
SET spark.eventLog.dir=hdfs://localhost:9000/user/liubin;
SET spark.executor.memory=512m;
SET spark.serializer=org.apache.spark.serializer.KryoSerializer;

4. 缓存jar