关于本地化的显示问题

2018/04/07
正常启动的情况下，webui都是显示的IP，而不是hostname。
这样的话，对于locality level显示的都是any

---

我知道的两个解决方案就是，第一，启动的时候不用start-all.sh，
http://superlxw1234.iteye.com/blog/2221279
这个网站有具体说明。
另一个方案就是，在spark-env.sh里面写上
（https://issues.apache.org/jira/browse/SPARK-10149，看起来像是源码里面有问题）
export SPARK_LOCAL_HOSTNAME=nodex
虽然他这个东西，没有再spark-env.sh里面说明这个变量，但是我写进去之后，就发生了变化。的却有作用了。
也是很尴尬。

---

2019/12/19 -

工作任务数量

数据本地性

以上两个图是没有进行上面第二种操作的执行结果。
可以看出有严重的数据倾斜，非常严重。

在执行了上述方法之后，执行时间和任务数量

工作任务数量

本地性

但是同时，这个master并没有显示，我不知道为什么。

经过测试之后，因为我的机器同时还要使用master，所有最后的实施结果就是把master从slaves文件中删除，然后手动在这个机器上启动了这个东西命令是：
./start-slave.sh -h master spark://master:7077

最后的结果

上面的第一个链接内容失效了，看看这个吧。
http://lxw1234.com/archives/2015/06/298.htm

其实这里还有一个问题，没有说明，你看现在的情况是他把我的主机的名字什么的都给解析好了，但是web ui部分，为什么很多url还是都是IP呢？当然有slave1：xxx这种形式，为啥这个就能行呢。不太清楚，可能得到源码里面去阅读了。