sparksql必要的配置

sparksql必要的配置

---

Driver和Executor权限问题

由于Driver和Excutor在执行过程中需要访问Hive中的元数据库mysql，但是Driver和Executor具体被分配到哪台机器上，这个是不固定的，所以这就要求集群中的所有从节点都需要授权访问mysql，这样所有的节点都可以访问Hive中的元数据库的权限。

Access denied for user ‘root’@’slave1’ (using password: YES)这是在yarn cluster模式下跑spark.sql(“”)的时候会出现的报错的log，这里的slave1表示从节点，这个会随机的，因为driver的不固定原因

--这里有多少个slave就需要进行多少个节点的授权
create user 'root'@'slave1' identified by '你的密码'; 
grant all privileges on *.* to root@'slave1';
flush privileges;

这就解决了从节点授权的问题。

spark-submit需要的参数

cd $SPARK_HOME/bin
./spark-submit \
--class