以下只是纪录,没有做严谨的测试。
""" @Author: Xiaohong @file 01.py @time: 2022-10-27 22:54 @OS: win7 旗舰版 Service Pack1 @python 3.7 @版本: jdk:1.8.0-212;Scala: 2.13.7 Spark: 3.3.1 Hadoop:2.6.4 Py4j:0.10.9.5 AnaConda:3 """
以" pyspark --master local"方式启动时,出现错误:“This Python interpreter is in a conda environment, but the environment has not been activated. Libraries may fail to load. To activate this environment”,
后在Conda中以命令 conda info --envs 来查看你的环境位置.(本例位置在: d:\programData\anaconda3),后用命令: conda activate d:\programData\anaconda3 来激活环境。在运行 pyspark --master local 即可,见界面如下