1、开启hdfs集群
2、开启yarn调度器
3、后台启动metastore服务,后台启动HiveServer2服务
最后量大的统计终于跑起来了!
刚开始一直以为是配置问题查询了好久也没解决,结果发现是虚拟机重启后有些服务没启动全,因为8088界面一直没退出导致我以为yarn服务是开启的。
然后我意识到这个教训:调度器都没启动,MapReduce是基于YARN运行的,如此计算当然跑不起来!!!算是巩固笔记和让自己加强对8088界面的观察!
上面服务全部启动后的状态
1、开启hdfs集群
2、开启yarn调度器
3、后台启动metastore服务,后台启动HiveServer2服务
最后量大的统计终于跑起来了!
刚开始一直以为是配置问题查询了好久也没解决,结果发现是虚拟机重启后有些服务没启动全,因为8088界面一直没退出导致我以为yarn服务是开启的。
然后我意识到这个教训:调度器都没启动,MapReduce是基于YARN运行的,如此计算当然跑不起来!!!算是巩固笔记和让自己加强对8088界面的观察!
上面服务全部启动后的状态