spark
小菜菜ovo
这个作者很懒,什么都没留下…
展开
-
jupyter使用pyspark 启动 env:/usr/local/python3/bin: Permission denied
修改~/.bashrc文件,添加下面两条export PYSPARK_PYTHON=/home/Python-3.6.3/bin/python3export PYSPARK_DRIVER_PYTHON=/home/Python-3.6.3/bin/python3如果还不行,就修改 spark目录下的conf/spark-env.sh文件,把上面的两行代码加进去...原创 2020-11-28 09:05:38 · 715 阅读 · 0 评论 -
org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM
这个错误直接在代码最开头添加:import findsparkfindspark.init()这两句即可解决原创 2020-11-28 08:59:46 · 3524 阅读 · 4 评论 -
AttributeError: ‘PipelinedRDD‘ object has no attribute ‘toDF‘
错误如题目解决办法:from pyspark.sql.session import SparkSessionspark = SparkSession(括号里是你的SparkContext对象)原创 2020-11-27 09:47:31 · 1284 阅读 · 0 评论