一、配置历史服务器
1. 上一篇说到 Standalone 集群模式时候 客户端看不到信息, driver:8081 虽然能看到日志和结果,但是体验非常差
2. spark-shell 本身就是客户端模式,这个是改不了为 cluster 模式, 并且运行时候日志打印是有,但是一旦退出了再也没地方看到日志了
yexiang@hadoop2:<spark-standalone>$ bin/spark-shell \
> --master spark://hadoop2:7077 \
> --deploy-mode cluster \
>
Error: Cluster deploy mode is not applicable to Spark shells.
Run with --help for usage help or --verbose for debug output
3. 根据上面看,我们需要配置日志服务器
①. 首先停掉spark 集群
yexiang@hadoop2:<spark-standalone>$ sbin/stop-all.sh
hadoop2: stopping org.apache.spark.deploy.worker.Worker