![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
小菜菜ovo
这个作者很懒,什么都没留下…
展开
-
jupyter使用pyspark 启动 env:/usr/local/python3/bin: Permission denied
修改~/.bashrc文件,添加下面两条 export PYSPARK_PYTHON=/home/Python-3.6.3/bin/python3 export PYSPARK_DRIVER_PYTHON=/home/Python-3.6.3/bin/python3 如果还不行,就修改 spark目录下的conf/spark-env.sh文件,把上面的两行代码加进去 ...原创 2020-11-28 09:05:38 · 694 阅读 · 0 评论 -
org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM
这个错误直接在代码最开头添加: import findspark findspark.init() 这两句即可解决原创 2020-11-28 08:59:46 · 3506 阅读 · 4 评论 -
AttributeError: ‘PipelinedRDD‘ object has no attribute ‘toDF‘
错误如题目 解决办法: from pyspark.sql.session import SparkSession spark = SparkSession(括号里是你的SparkContext对象)原创 2020-11-27 09:47:31 · 1279 阅读 · 0 评论