spark本地模式解决StackOverflowError

近期做毕设遇到StackOverflowError，具体错误如下：
ShuffleMapStage 0 (mapToPair at NativeBayes.java:159) failed in 0.128 s due to Job aborted due to stage failure: Task serialization failed: java.lang.StackOverflowError
主要是mapToPair匹配大量数据时导致的栈溢出，可以对算法进行优化，但最有效率且简单粗暴的算法就是扩大栈容量。
在spark-submit中有一–driver-java-options参数，用于设置driver的java选项，这里按情况设置：–driver-java-options -Xss4m，即将栈容量从默认1M扩充至4M，可以有效解决StackOverflowError。