1. 总结
如果使用jupyter以standalone方式调试pyspark程序时,务必要保持driver端的pyspark版本与hadoop里的pyspark版本一致。
2. 具体问题
使用pyspark程序,如果报错类似:
local class incompatible: stream classdesc serialVersionUID = -3328732449542231715, local class serialVersionUID = 4416556597546473068这个错
很大概率是pyspark的版本问题,目前我遇到的情况是hadoop里的pyspark是2.4.7,而driver端的应用程序里装的pyspark是2.4.0,在show()的时候就会报上述错误。
同时,如果有列名里有中文,pyspark版本不一致时也会报错。
3. 技术点
通常使用pyspark程序,会有两种方式。
第一种方式是使用jupyter以standalone方式调试程序,这时候jupyter里使用的pyspark和大数据平台里的pyspark并非是一个,所以要保证版本一致。
例如在我使用的大数据平台下面的pyspark在如下目录:
而jupyter是在一个单独的容器里的。
第二种方式是用yarn提交,这时候使用的pyspark都是一个,就是大数据平台里自带的这个。无需考虑版本不一致的问题。