记复现赵卫东老师《机器学习案例实战》第八章零售企业商品销售预测中搭建spark环境所遇到的错误
运行项目后该句代码报错
spark = SparkSession.builder.appName("big-mart-sales").getOrCreate()
报错界面为
首先这里有个乱码问题,对于这种乱码只需要把编码格式改一下:
pycharm中:文件--》设置--》编辑器--》文件编码--》
在全局编码中选择合适的编码格式,我当时用的是UTF-8改成了GBK就好了
保存完成后,乱码的字体就可以显示出来了
乱码为:系统找不到指定路径(Spark)
原本以为是Spark没安装好,经过多次安装更改,卸载Python环境,等等一系列操作,均无法解决,最终参考这篇文章发现:Win10下安装spark(本地模式)_windows_六mo神剑的博客-CSDN博客_spark windows 本地模式Win10下安装spark(本地模式)相关软件及环境准备:win10需要提前安装anacondajava 环境:JDK1.8 版本hadoop运行在windows环境的插件: hadoop-2.7.1(winutils-master)spark包:spark-2.4.4-bin-hadoop2.7使用 Spark 的第一步是下载和解压缩。我们先从下载预编译版本的 Spark 开始...https://blog.csdn.net/wj1298250240/article/details/102640358Spark还和JAVA环境变量有关。。。
这时候想起当时学习Java时候配置过一个jdk1.7的环境变量,后来开发需要就卸载了jdk1.7安装了jdk11,在环境变量中发现JAVA_HOME的值还是jdk1.7的。。。
下图是修改后的
在系统环境变量中删除了1.7,重启Pycharm就好使了。。。