--默认方式是mapreduce
set hive.execution.engine=spark;
select count(*) from sxs_comment_his;
set hive.execution.engine=MR;
select count(*) from sxs_comment_his;
总结:
- hive默认方式是mapreduce,比on spark 慢
- 从最后一张图可以看到一个箭头所覆盖的ip,可以通过这个ip访问YARN的UI界面,可能需要个跳板机,比如我司还需要登陆个win跳板机才能看。怎么找hadoop磁盘的datanode的具体情况的ip我还不知道,是跟同事要的ip
- 如果要看spark的UI界面,你在运行spark-shell的时候会有ip提示,当然我司这三个界面要看都要通过跳板机