Spark运行调试方法与学习资源汇总

最近，在学习和使用Spark的过程中，遇到了一些莫名其妙的错误和问题，在逐个解决的过程中，体会到有必要对解决上述问题的方法进行总结，以便能够在短时间内尽快发现问题来源并解决问题，现与各位看官探讨学习如下：

解决spark运行调试问题的四把“尖刀”：

1、Log

包括控制台日志、主从节点日志、HDFS日志等。许多错误可以通过日志，直接对错误类型、错误来源进行准确定位，因此，学会读取和分析Log是解决问题的第一步。

2、Google

确定错误类型和原因后，就可以使用Google在Spark User List、Google Group等各类Spark学习社区和论坛进行求助，而大部分问题都是可以找到答案的。

3、官网配置文档

大部分问题都是配置问题引起的，如何准确配置，需要结合官方说明文档进行配置，而其中的Tuning Spark内容，也是每个Spark实践者必须了解和掌握的，推荐精读：

Tuning Spark(内存调优): http://spark.apache.org/docs/1.0.0/tuning.html

Spark Configuration（基本配置）: