Spark
caidongxuan
这个作者很懒,什么都没留下…
展开
-
PySpark集群出错解决记要
一、现象 用java写的在spark on yarn 模式下正常。 用python写的在spark on local 模式下正常,在spark on yarn 模式下出错。 Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED at org.apache.spark.api.python.PythonRunner$$anon$1.read(PythonRDD.scala:193)原创 2020-07-01 11:49:34 · 451 阅读 · 0 评论 -
Spark异常Randomness of hash of string should be disabled via PYTHONHASHSEED
一、现象 用java写的在spark on yarn 模式下正常。 用python写的在spark on local 模式下正常,在spark on yarn 模式下出错。 Exception: Randomness of hash of string should be disabled via PYTHONHASHSEED at org.apache.spark.api.p...原创 2020-04-02 18:50:15 · 292 阅读 · 0 评论