Spark SQL CLI配置

Spark SQL CLI配置

SparkSQL可以兼容Hive以便SparkSQL支持Hive表访问、UDF(用户自定义函数)以及Hive查询语言(HiveQL/HQL)。
若要使用SparkSQLCLI的方式访问操作Hive表数据，需要对SparkSQL进行如下所示的环境配置(Spark集群已搭建好)，将SparkSQL连接到一个部署好的Hive上

1. 将hive-site.xml复制到/home/hadoop/app/spark/conf/目录下，所有节点都执行(路径根据自己的输入）
   cd /home/hadoop/app/hive/conf/
cp hive-site.xml /home/hadoop/app/spark/conf/
   发送给其他两个节点
   scp hive-site.xml hadoop@slave1:/home/hadoop/app/spark/conf/
scp hive-site.xml hadoop@slave2:/home/hadoop/app/spark/conf/
2. 在/home/hadoop/app/spark/conf/spark-env.sh文件中配置MySQL驱动。
   将MySQL驱动复制到所有节点的spark安装包的jars目录下，并在/home/Hadoop/app/spark/conf/spark-env.sh末尾添加:
   export SPARK_CLASSPATH=/home/hadoop/app/spark/jars/mysl-connector-java-5.1.32.jar启动 MySQL 服务
   
3. 启动 Hive的metastore 服务:hive–service metastore &
   
4. 修改日志级别:进入/home/hadoop/app/spark/conf，cp log4j.properties.template log4j.properties，修改文件
   log4jproperties中log4jrootCategory的值，修改后log4jrootCategory=WARN,console
   
5. 重新启动Spark集群:进入/home/hadoop/app/spark/sbin/目录，执行./stop-all.sh，再执行./start-all.sh
6. 启动spark-sql:进入/home/hadoop/app/spark/bin目录，执行./spark-sql开启Spark SQL CLI