总结最近两周在使用spark scala下遇到一些坑

1. 耐心看日志信息：
   spark集群有主控driver和executor的区别，通常我们会在driver端打出一些日志作为提示，但如果把日志打到了executor上执行的算子上，那么日志旧不能再sparksubmitweb上查询到（当时花了好久定位日志…）。
   通常运行出来的日志比较长，耐心看日志也可以查到其中什么原因导致的出错。
2. 通常foreach语句使用在collect之后的driver端数据，否者中途生成的变量都还是再executor端，没有会中统计。
3. 写代码的时候需要考虑当前数据量有多大，是放在driver还是executor效率更高，如小的字典数据放在driver更好，大的表数据使用join效果更高。
4. 注意权限问题，集群上的独写操作，会涉及到一些hdfs目录，写入前要确认是否拥有权限。