更换新电脑后,需要在windows11系统上再次部署pyspark环境。这次使用的是pycharm+Anaconda,部署完成后,记录一下部署过程中遇到的2个问题
Python worker failed to connect back
在代码里面加上
import os
os.environ['PYSPARK_PYTHON'] = "E:/soft/anaconda/environment/python36/python.exe"
mkl-service package failed to import
用Anaconda Prompt窗口,首先找到自己在Anaconda新建的环境名,激活进入这个环境
conda info --envs # 查看所有的环境列表
conda activate your_environment_name # 激活你的环境名字
接着通过
conda search pyspark
找到自己想要下载安装的pyspark版本,然后下载
在下载的时候,需要注意,不能直接使用conda install pyspark=2.4.5
而是要使用
conda install -c conda-forge pyspark=2.4.5
否则下载出来的numpy和mkl-service不适配,卸载重装也没用,虽然不影响正常执行程序,但是会有一大片的warning警告